基礎からイメージで学ぶ統計学~平均二乗誤差編~

前回は推定量の話を簡単にした後に、不偏推定量についてやりました。
bananarian.hatenablog.com

不偏推定量の性質をより深く知るためには、誤差の概念を理解しなくてはなりません。
そこで今回は平均二乗誤差という誤差について説明します。

誤差

誤差というと、普通こんなのを思い浮かべるかなと思います。

$(誤差)=(実際に得られた値)-(真の値)$

当然これも誤差なんですけど、次のようなケースだと少々まずいことがおこります。

5回実験を行って、各実験で欲しいパラメータに対する推定値を求めた。すると次のようになった。

あるパラメータの真の値が1(実際には不明)
得られた推定値1.2 , 1.1 , 0.8 , 0.9 , 1

この場合誤差の合計はいくらになるかというと
さっきの式に従ってしまうと

$(誤差)=(1.2-1)+(1.1-1)+(0.8-1)+(0.9-1)+(1-1)=0$

誤差は0になってしまいます。

これは流石にマズいので、こういう場合は普通絶対値を取りますね。

$(誤差)=|(実際に得られた値)-(真の値)|$

これだと
$(誤差)=|1.2-1|+|1.1-1|+|0.8-1|+|0.9-1|+|1-1|=0.6$

誤差が出てきます。

でも、絶対値を扱ったことのある人ならわかると思うんですけど、絶対値って場合分けが発生して結構使いづらいんです。

そこで二乗を採用します。

$(誤差)=\{(実際に得られた値)-(真の値)\}^2$

これを二乗誤差と呼びます。

更に、平均的に誤差はどれくらいになるのか考えたいときだってありますよね。そういうときは、このようにしてやります。

$E[\{(推定量)-(真の値)\}^2]$

これを推定量の平均二乗誤差(MSE)と呼びます。

推定量の平均二乗誤差の性質

いちいち推定量と書くのが面倒くさいので $S(x)$ とおきます。パラメータの真の値を $\theta$ とおくと、平均二乗誤差(MSE)は次のようになりますね。

$MSE=E[\{S(x)-\theta\}^2]$

これをちょっと変形してやります。

$MSE=E[\{S(x)-\theta\}^2]=E[\{S(x)-E[S(x)]+E[S(x)]-\theta\}^2]$
$=E[\{S(x)-E[S(x)]\}^2+\{E[S(x)]-\theta\}^2+2\{S(x)-E[S(x)]\}\{E[S(x)]-\theta\}]$
$=E[\{S(x)-E[S(x)]\}^2]+E[\{E[S(x)]-\theta\}^2]+2E[\{S(x)-E[S(x)]\}\{E[S(x)]-\theta\}]$

ここで最後の項は計算してやるとゼロになります。
$2E[\{S(x)-E[S(x)]\}\{E[S(x)]-\theta\}]$
$=2\{E[S(x)E[S(x)]]-E[E[S(x)]^2]-E[S(x)\theta]+E[E[S(x)]\theta]\}$
$=2\{E[S(x)]^2-E[S(x)]^2-E[S(x)]\theta+E[S(x)]\theta\}=0$