バナナでもわかる話

計量経済学・統計学が専門の大学院生です。統計学・経済学・投資理論・マーケティング等々に関する勉強・解説ブログ。ときどき趣味も。極力数式は使わずイメージで説明出来るよう心掛けていますが、時々暴走します。

基礎からイメージで学ぶ統計学~最尤推定量編~

前回、一致推定量がどういうものかについて確認しました。
基礎からイメージで学ぶ統計学~一致推定量編~ - バナナでもわかる話



ここで一致推定量の一例として最尤推定量について解説します。


最尤推定量についても色々と面白い性質があるわけですが、初心者向け記事ということで一致性に主眼をおいて、最尤推定量の導出法の説明で終わります。


尤度関数

まず、最尤推定量を導出するために必要な概念として、尤度関数について説明しておきます。


まず、確率変数を x、パラメータを \thetaとし、 xの確率密度関数(確率質量関数)を p(x;\theta)と置くことにします。

普通、この関数はデータを取る前に考えるので、 xは未知の値、背後に真の値 \thetaが固定された値として与えられています。


しかし、尤度関数を考える際は見方を逆転させ、 xを既知、 \thetaを変数と考えます。
要は、データとして xが与えられた後で、確率密度関数(確率質量関数)の中の \thetaを変数とみて、 \thetaの関数として考えてやろうというわけです。


意味が良く分からないという人は、事実上尤度関数と確率密度関数(確率質量関数)は関数形として一緒だと考えてもらって問題ありません。


例えば、ポワソン分布の確率質量関数は
 \frac{e^{-\lambda}\lambda^x}{x!}

尤度関数も
 \frac{e^{-\lambda}\lambda^x}{x!}
です。

一緒です。ただ、違いは尤度関数の方はxがデータとして与えられていて、例えば x=5というデータが得られていたとしたら、
尤度関数は
 \frac{e^{-\lambda}\lambda^5}{5!}

となります。


最尤推定量の導出

後は尤度関数p(\theta;x)を最大化する \thetaを導いてやれば、それが最尤推定量です。
よく、計算のしやすさから対数を取ってから微分をすることで求めることが多いです。
※一部の関数で例外があります。


 L(\theta;x)=log\{p(\theta;x)\}を対数尤度関数と呼びます。

②対数尤度関数を \thetaについて微分してやります。
※本当は最適化理論に基づいて微分を行うことが適当か調べる必要があるわけですが、その辺の話は省略

③(微分した結果)=0と置いて、 \thetaについて解く


基本的にこれで最尤推定量が出ます。

※ただ、何でもかんでも出せるわけではなくて、解けない場合もあり、その場合は探索的な方法(ニュートン法など)で近似解を探すことになります。



最尤推定量は一致推定量

で、何で今回最尤推定量の話をしたのかというと、
最尤推定量は一致推定量なので、サンプルサイズが十分に大きい場合には良い推定量と言えるわけです。


何故、数ある一致推定量の内、最尤推定量が良いとされているかというと、

端的に言ってしまえばアルゴリズムに一貫性があるからです。

今回確認したように、要は確率密度関数の関数形がわかったら、後はそれの対数をとって微分して解いてやるだけで出てくるという簡潔さ。
それがこの最尤法の魅力です。



※後は、漸近的に最小分散不偏推定量に近似するからという理由もあります。