バナナでもわかる話

計量経済学・統計学が専門の大学院生です。統計学・経済学・投資理論・マーケティング等々に関する勉強・解説ブログ。ときどき趣味も。極力数式は使わずイメージで説明出来るよう心掛けていますが、時々暴走します。

一様事前分布は無情報ではないという話

ベイズで何かを議論する際に、よく無情報事前分布として一様分布が用いられます。
何をもって""無情報""と呼ぶかっていうのは難しい問題で、今回はその話をしようと思います。

スポンサーリンク


まず、一様分布ってのは要は平坦な分布だと思ってください。

で、平坦な分布を取るってどういうことかというと、範囲が0から1を取るパラメータ \thetaを考えたとすると、 \thetaに対して与えられる確率分布は下のように値1で平坦になるはずです。
f:id:bananarian:20181220232751p:plain

これが要は一様分布です。直感的には情報なんてないような気がします。
だって取りうる値の範囲で等確率を取っていて、何か一つの値が出やすいわけでも無いので、直感的には対等だというわけです。


でも、これには欠点があって、パラメータの形を「 \theta」と決めつけている所に情報があります。

何を言っているかというと、別にパラメータとして \thetaではなく、 exp(\theta)を考えても良いのでは?ということです。

ちなみに exp(\theta)という形に変換してやった時の一様分布は次のようになります。
f:id:bananarian:20181220233429p:plain

範囲と高さが変わっているのわかりますかね?
何が言いたいかというと、「パラメータをどう見るか」を分析者は無意識に決定していて、その時点で少しばかり偏見が入っている。その意味で無情報と呼ぶべきではないという立場が存在するということです。

具体例を挙げると、例えば次のような線形モデルを考えます。
 y=\beta X +\epsilon

この時、別に次のように見て、パラメータ exp(\theta)を考えても良いわけです。
 y = log(exp(\beta)) X +\epsilon

そんな難癖どうやって解決すればいいんだ!!というと、
実はこの変数変換問題を解決できる事前分布が存在してジェフェリーズの事前分布と呼ばれています。

まあ、そうそうこんな難癖をつけてくる人はいないでしょうが、当然もし難癖をつけられた時の為に色々な事前分布は知っておいた方が良さそうです。次回は、ジェフェリーズの事前分布について説明しようと思います。

それではまた次回。