基礎からイメージで学ぶ統計学~仮説検定の問題点編~

仮説検定の話に入ろうと思うのですが、
仮説検定については、僕の記事なんかよりも非常によくまとまっているサイトがあったので、とりあえず何も知らない方はこちらをご覧ください。
仮説検定とは？初心者にもわかりやすく解説！ | 全人類がわかる統計学

私の記事では、同じ話をしてもしょうがないので、仮説検定にまつわる批判に関する話をします。

正規分布の期待値に関する検定

例えば、次のような例を考えます。
正規分布から $X_1,....X_n$ のn個の標本を取ってきたとして、まずこの正規分布の期待値 $\mu$ について帰無仮説 $H_0$ を立てました。

$H_0: \mu=3$

つまり、このデータの背後には期待値が3の正規分布があるという帰無仮説を立てた上で、

もし適当な有意水準を設定した下で仮説検定を行って棄却されれば、背後にある正規分布の期待値は $\mu≠3$ であると言うことは出来ます。

この検定問題の検定統計量 $T$ は普通、次のような式になります。

$T=\frac{\bar{X}-3}{\sqrt{\frac{S(X)}{n}}}$

ここで $\bar{X}$ は $\mu$ に関する推定量(普通は不偏推定量や一致推定量を採用します。)
$S(X)$ は分散に関する推定量(同様に不偏推定量や一致推定量を採用)

で、この検定統計量を利用して、推定量に合わせて分布を仮定し、この統計量の値が極端に大きい値を取ったり小さい値を取った場合は、

もし、帰無仮説に従っているのであれば、出てくる可能性の低い値が出てきた。
それならば、この帰無仮説は間違えているのであろう。

と言うというのが仮説検定でしたね。

仮説を棄却するとは？

ここからが本題です。

仮説が間違えていた

とは実際の現場ではどういうことを指すのでしょうか。

例えば、新薬開発をしていたとします。

「従来の薬の効果が3だったとして、新薬は9になった」

として、3だったものが9になったのなら、何か良くなったように見えるので、仮説として効果が3だと仮定して、それを棄却することには意味がありそうです。
※(当然、実際はどんな効果かによって9が大きいのか小さいのかは変わりそうですが)

じゃあ、「従来の薬の効果が同じく3だったとして、新薬の効果が3.000001になった」

これは、意味のある差でしょうか？

仮説として効果が3だという仮説を立てて、新薬の効果が3.000001だった場合、仮説を棄却することに何か意味はありますかね。

いやいや、こんな小さい差、そもそも棄却出来ないのでは？と仰る方もいるかもしれませんが、棄却出来ます。

検定統計量をよくみてほしいんですけど、

$T=\frac{\bar{X}-3}{\sqrt{\frac{S(X)}{n}}}=\sqrt{n}\frac{\bar{X}-3}{\sqrt{S(X)}}$

こんな感じに変形できますね。

ここで、サンプルサイズ $n$ をメチャメチャ大きく取ったとします。
$\bar{X}$ は一致推定量のため、期待値3.000001の分布から取り出された標本である以上、一致性から3.000001に近づきます。
$S(X)$ も一致推定量のため、背後にある分布の分散に収束します。仮に1.5としておきましょう。