前回までで、不偏推定量とその評価軸として平均二乗誤差について学びました。
基礎からイメージで学ぶ統計学~不偏推定量編~ - バナナでもわかる話
今回は不偏推定量の一例として、最小二乗推定量について説明します。
線形回帰分析
今回は線形回帰分析の説明ではないので、ここは簡単に説明するにとどめておきます。
Rには次のようなcarsというデータが内蔵されているので、これを使います。
> head(cars) speed dist 1 4 2 2 4 10 3 7 4 4 7 22 5 8 16 6 9 10
これは、自動車の制動距離に関するデータで、要はspeedが車の速度、distはブレーキをかけてから止まるまでの距離です。
データをプロットするとこんな感じ。
で、何か線形関係を持っていそうなので、こんな感じの直線を引きたいわけです。
そこで次のような関係を仮定します。
このような仮定に基づき、データに当てはめるのに尤もらしいを考えたいわけです。
最小二乗推定量
攪乱項(確率的な誤差)の二乗和を最小にするようなと
を
、
と名付け、これを最小二乗推定量と呼びます。
簡単に導出してみます。
誤差は当然小さい方が嬉しいので、これを最小にしたいわけです。
最適化の話が必要になるのですが、とりあえずその辺の話は省略して、とりあえず次のような条件が必要です。
これを計算していきます。
より
…①
より
…②
①、②より
更に、
なので、
まず
そして、
つまり、最小二乗推定量は不偏推定量なわけですね。
平均二乗誤差に関する評価の話は複雑になるので省略しますが、
最良線形不偏推定量と言って、
線形の不偏推定量の中では最も小さい分散を持つ推定量であると言われています。