前回はマルコフ連鎖の推移確率行列が適当な条件のもとで、値が収束するという話をやりました。
bananarian.hatenablog.com
今回はそれに関連して、不変性という話をしていきます。
前回の復習
石1,石2があって、どちらかの石の上にカエルが乗っています。そして、1秒後に
・石1にいて石2に乗り移る確率が50%
・石1にいてそのまま石1に居続ける確率が50%
・石2にいて石1に移る確率を80％
・石2にいてそのまま石2に居続ける確率が20％
であるとします。この時推移確率行列Pは次のようになる。
そしてチャップマンコルモゴロフ方程式から、n秒後の推移確率行列は
でした。
更にはnを十分大きく取った下では下のような値に収束する。
不変確率分布
この収束先Πは次のような性質があります。
これは実際に計算すると簡単に確認できます。
元の推移確率行列
にΠをかけても変わらずΠが出てきます。
このような意味でΠはPの不変確率分布であると言い、PはΠ-不変であると言ったりします。
ここで、今まで長いこと記事を書いてきましたが、やっとMCMC(マルコフ連鎖モンテカルロ法)の話が出てきます。
一応簡単にMCMCの話をしておくと、
ある分布からの出力されるサンプルを得たいという状況があったとします。ここで、単純な正規分布や一様分布から出てくるサンプルであれば、Rでもpythonでも乱数を生成するのは関数一個で容易なので問題ないのですが、何やら複雑な分布からサンプルを取りたいから困っているとします。
この時に使われるのがMCMCということになります。
MCMCと不変確率分布の関係
MCMCの詳しい話はまた別の記事でするわけですが、今回の不変確率分布にどう関わってくるかという話をします。
MCMCでは、サンプルをとりたい分布を目標分布と呼んだりしますが、
要は不変分布が目標分布になるようなマルコフ連鎖を見つけてくればサンプリングできるじゃないか！！というのがMCMCです。
以上、これで今まで何度か分けて書いてきた長い長い記事がMCMCの話と結びつくわけです。
※これまでのマルコフ連鎖に関する説明は全てMCMCカテゴリーに入っています。
次回はそんなウマイマルコフ連鎖をどうやったら作れるのかという話にシフトしていこうと思います。
