バナナでもわかる話

計量経済学・統計学が専門の大学院生です。統計学・経済学・投資理論・マーケティング等々に関する勉強・解説ブログ。ときどき趣味も。極力数式は使わずイメージで説明出来るよう心掛けていますが、時々暴走します。

マルコフ連鎖の不変確率分布とMCMCとの関係

前回はマルコフ連鎖の推移確率行列が適当な条件のもとで、値が収束するという話をやりました。
bananarian.hatenablog.com

今回はそれに関連して、不変性という話をしていきます。

前回の復習

石1,石2があって、どちらかの石の上にカエルが乗っています。そして、1秒後に
・石1にいて石2に乗り移る確率が50%
・石1にいてそのまま石1に居続ける確率が50%
・石2にいて石1に移る確率を80%
・石2にいてそのまま石2に居続ける確率が20%
であるとします。この時推移確率行列Pは次のようになる。

P=\left(
    \begin{array}{ccc}
      0.5 & 0.5 \\
      0.8 & 0.2  \\
    \end{array}
  \right)

そしてチャップマンコルモゴロフ方程式から、n秒後の推移確率行列は
P^nでした。

更に
P^nはnを十分大きく取った下では下のような値に収束する。


Π=\lim_{n \to \infty} P^n=\frac{1}{1.3}\left(
    \begin{array}{ccc}
      0.8 & 0.5 \\
      0.8 & 0.5  \\
    \end{array}
  \right)

不変確率分布

この収束先Πは次のような性質があります。


Π=ΠP

これは実際に計算すると簡単に確認できます。

元の推移確率行列
PΠをかけても変わらずΠが出てきます
このような意味でΠはPの不変確率分布であると言い、PはΠ-不変であると言ったりします。

MCMC

ここで、今まで長いこと記事を書いてきましたが、やっとMCMC(マルコフ連鎖モンテカルロ法)の話が出てきます。
一応簡単にMCMCの話をしておくと、

ある分布からの出力されるサンプルを得たいという状況があったとします。ここで、単純な正規分布や一様分布から出てくるサンプルであれば、Rでもpythonでも乱数を生成するのは関数一個で容易なので問題ないのですが、何やら複雑な分布からサンプルを取りたいから困っているとします。

この時に使われるのがMCMCということになります。

MCMCと不変確率分布の関係

MCMCの詳しい話はまた別の記事でするわけですが、今回の不変確率分布にどう関わってくるかという話をします。

MCMCでは、サンプルをとりたい分布目標分布と呼んだりしますが、
要は不変分布が目標分布になるようなマルコフ連鎖を見つけてくればサンプリングできるじゃないか!!というのがMCMCです。


以上、これで今まで何度か分けて書いてきた長い長い記事がMCMCの話と結びつくわけです。
※これまでのマルコフ連鎖に関する説明は全てMCMCカテゴリーに入っています。

次回はそんなウマイマルコフ連鎖をどうやったら作れるのかという話にシフトしていこうと思います。