基礎からイメージで学ぶ統計学~不偏推定量編~

これまで何回かの記事で、正規分布、二項分布、ベルヌーイ分布、ポワソン分布など様々な分布を紹介しました。
bananarian.hatenablog.com

今回から推定量に関する話をします。

まず、統計学ですが、これは大まかに「推定」と「検定」に分けることができるんですね。

ただ推定のトピック一つをとっても、詳しくやっていると膨大になるので、

とりあえず基本的な内容だけ書いていくことにします。

「推定」の目的は

データの背後にある分布を特定することにあります。

ただ、厳密正確に特定するわけではなく、適当な仮定をおいたうえで妥当な分布を考えます。

例えば、得られたデータは正規分布に従っていると仮定します。

「ん？正規分布に従っているとまで仮定してしまったら、背後の分布が分かっていることになってしまうのでは？」

と考える人もいるかもしれませんが、そんなことはありません。

正規分布には二つのパラメータ $\mu$ と $\sigma$ がありました。
よって、正規分布と仮定しても、まだ期待値が0,分散が1の正規分布かもしれないし、期待値が10,分散が0.1の正規分布かもしれないわけです。

そこで、データを使って、適当な基準を元に $\mu$ と $\sigma$ の推定値を考えてやって、分布を特定してやろう。

と考えるわけです。

「いきなり正規分布だと決めつけるなんて、仮定が強すぎませんか？」

と思う方もいると思います。それに対しては、まあ場合によるとしか言えませんし、もっと緩い仮定をおく推定方法として
ノンパラメトリック推定という方法もあったりします。

どうやって分布を仮定するのか

事前に仮定するとは具体的にどうやってやればいいのかという話をしておきます。
これは、ざっくり言ってしまえば

「データと場面次第で柔軟に対応すべき」

となってしまうわけですが、それだと分からないと思うのでもう少し説明します。

これは私の経験則ですが、推定をする前に行う仮定は、「データとの整合性」「理論との整合性」「分析のしやすさ」を最低限考えるべきだと思います。

「データとの整合性」とは、例えば得られたデータが明らかに二つ山があるのに、そのデータに対してそのまま正規分布を当てはめるのは変ですよね。

あと、動物の生息数や漁獲高のような正の値しか取らないデータに対して、負の値も取りうる正規分布を当てはめることが妥当かどうかも考えなければいけません。

このように、得られたデータの性質をみたうえで、事前の仮定が妥当かどうかを考えておくことは重要だと思います。

「理論との整合性」とは、例えば流星群の日に、ある一期間の間に流れる流れ星の数をポワソン分布に従っていると仮定するとします。

しかし、流星群とは、何かが降ってきているわけではなく、地球が流星軌道上を通過することで起こる現象です。流星物質が固まった場所を通過すれば、それだけたくさん流星が流れるわけです。

これって本当にポワソン分布でしょうか？

このように、当該現象にはどういう理論的背景があるのかを考えたうえで、仮定と整合的か事前に考えておく必要があります。

「分析のしやすさ」も重要です。どういうことかというと、無理やりデータに合わせようと非常に複雑な分布を仮定したとします。
まあ、そうしたらデータにはフィットするかもしれませんが、どう解釈すればいいのかわからなくなる恐れがあります。

また逆に仮定をかなり緩めて、厳密にデータが従う分布を捉えたとして、分布はわかるが、その形(数式)はわからんという事態になった時に、
表現は出来たけど分析は出来ないというような事態にもなります。

推定量

で、そんな感じの位置づけである統計的推定ですが、どのように行うかというとデータを使って分布のパラメータに関する推定値を求めるわけですね。

その推定値を求めるために使う道具(数式)を推定量と呼ぶわけです。

例えば、正規分布の期待値 $\mu$ に関して、
独立同一な分布に従うデータをn個取ってきてやって $\frac{1}{n}\sum_{i=1}^{n}X_i$ を考えてやればこれは
推定量の一つです。標本平均ですね。

推定量はどうやって決めるのか

推定量自体に定義はありません。
そのため、どれだけデータを取ってきたとしても、そのうち最初に得られたデータを推定値とするとして
$X_1$ を推定量とすることだって出来てしまいますし、何が起ころうとも推定値は5だとして、5を推定量とすることだって出来てしまいます。

しかし、当然そんな何でもありなものを信用することは出来ません。

だから適当な基準に従う推定量を使うことで、

より信頼できる推定値を得ることが出来ます。

その基準の一つに　不偏性　という考え方があるわけです。
※あくまで一つの基準に過ぎず、絶対視すべきではないという点に注意

不偏性の定義

不偏性を持つ推定量を不偏推定量と呼びますが、これは次のようなものを指します。

$\mu$ に関する推定量を $S(X)$ とおいたとすると、
$E[S(X)]=\mu$ が成り立つ。

つまり、期待値を取ったらその知りたいパラメータの真の値になるような推定量を不偏推定量と呼びます。

ちなみに先ほどの $\frac{1}{n}\sum_{i=1}^{n}X_i$ は期待値を取ったら $\mu$ になるので、不偏推定量です。

つまり、言葉で言うのであれば平均的にはパラメータの真の値に近い値を取るような推定量と解釈することが出来ます。

疑問

しかし、不偏推定量って、ちょっと広すぎる分類だと思いませんか？

どういうことかというと

例えば $E[X_1]=\mu$ なので、 $X_1$ だって不偏推定量です。

$\frac{1}{2}E[X_1+X_9]=\mu$ なので、 $\frac{1}{2}(X_1+X_9)$ だって、やはり不偏推定量です。

不偏推定量は平均的にパラメータの真の値に近い値を取るかもしれませんが、ちょっとバリエーションがありすぎます。

そこで、不偏推定量を考える場合は、もう少しそこから範囲を絞る必要が生じるんですね。

次回はその話をします。

あ、推定量については、この記事ではかなり省きつつ説明しましたが、前にもっと詳しい記事を書いているのでこちらもご覧ください。
bananarian.hatenablog.com