統計的仮説検定
statistics統計的仮説検定(statistical hypothesis test)は母集団に対するある仮説が妥当だと言えるか標本から判断する手法。 棄却(reject)されることが期待される帰無仮説(null hypothesis)\(H_0\)と、それに相対する本命の対立仮説(alternative hypothesis)\(H_1\)を立て、 検定統計量を出し、帰無仮説が真である場合での確率分布でそれより外れた値が観測される確率であるp値が、設定した有意水準\(α\)(0.05にすることが多い)を下回れば帰無仮説が棄却され対立仮説が採択(accept)される。
有意水準はあくまで帰無仮説を棄却できるかのラインなので、それを上回ったからといって積極的に採択できるわけではない。 帰無仮説が真であるのに、たまたま棄却域の値が出ることで棄却してしまう場合を第一種の誤りといい、 逆に帰無仮説が偽であるのに採択してしまう場合を第二種の誤りという。 前者が起きる確率は有意水準αと等しく、\(α\)を小さくして棄却域を狭めると後者の確率βが大きくなる。 第二種の誤りを犯さない確率\(1-β\)を検出力といい、これが大きいほど厳しい検定と言える。
検定には母集団が特定の分布に従うと仮定しそのパラメータである平均や分散などを用いるパラメトリックな手法と、そうでないノンパラメトリックな手法がある。 パラメトリックな手法の方が検出力は高いが、標本数が小さい場合は分布を仮定することが難しいためノンパラメトリックな手法の方が適している。
t検定
正規分布を仮定するパラメトリックな手法。ちなみに正規分布かどうかの検定としてShapiro–Wilkの検定などがある。
Pythonで時系列データを検定(Shapiro-Wilk test, runs test, Ljung-Box test)する - sambaiz-net
t検定では平均\(\mu\)の正規表現に従う\(n\)個の標本から計算される次の確率変数\(t\)が、自由度\(n-1\)のt分布に従うことを利用する。もし十分な標本数があるか母分散が分かっているなら標準化変換した\(Z\)を用いてZ検定を行うことになる。
$$ t = \frac{\bar{X} - \mu}{\frac{s}{\sqrt{n}}} $$
確率分布(二項分布/ポアソン分布/正規分布/t分布/カイ二乗分布) - sambaiz-net
標本 (1.1, 1.5, 1.2, 1.3, 1.4) に対して帰無仮説"平均1.0の正規分布に従う"で検定してみる。
$$ \begin{align*} n &= 5 \\ \bar{X} &= \sqrt{1.1 + 1.5 + 1.2 + 1.3 + 1.4}{5} = 1.3 \\ s^2 &= \sqrt{(1.1 - 1.3)^2 + (1.5 - 1.3)^2 + (1.2 - 1.3)^2 + (1.3 - 1.3)^2 + (1.4 - 1.3)^2}{5 - 1} = 0.025 \\ t &= \frac{1.3 - 1.0}{\frac{\sqrt{0.025}}{\sqrt{5}}} = 4.242 \end{align*} $$
もし帰無仮説が真ならこのTが自由度4のt分布に従うことになる。 t分布表を見ると自由度4、有意水準0.05のとき棄却される臨界値は2.7764になっている。 したがって帰無仮説は棄却され、この標本は平均1.0の正規分布に従っていないであろうことが確認された。
では平均どれくらいだと言えるのか、\(t\)が棄却されない範囲での\(μ\)を調べることで区間推定できる。
$$ \begin{align*} -2.7764 < &t = \frac{1.3 - \mu}{\frac{\sqrt{0.025}}{\sqrt{5}}} < 2.7764 \\ 1.3 - 2.7764 \cdot \frac{\sqrt{0.025}}{\sqrt{5}} < &μ < 1.3 + 2.7764 \cdot \frac{\sqrt{0.025}}{\sqrt{5}} \\ 1.103 < &μ < 1.496 \end{align*} $$
標本数を増やせればt分布の裾野が狭まりもう少し区間を絞ることができる。