前回はマルコフ連鎖ってこんなやつだよ～っていうイメージを紹介しました。
bananarian.hatenablog.com
しかし、このカテゴリー[MCMC]の最終目標はマルコフ連鎖モンテカルロの説明です。そういうわけでしっかり数式を使ったお話もしていきます。
前回のカエルの例をおさらい
多分わかりやすいので、前回の例を今回でも使っていきます。
石1,石2があって、どちらかの石の上にカエルが乗っています。そして、1秒後に
・石1にいて石2に乗り移る確率が50%
・石1にいてそのまま石1に居続ける確率が50%
・石2にいて石1に移る確率を80％
・石2にいてそのまま石2に居続ける確率が20％
であるとします。この確率達を推移確率と呼んだりします。
マルコフグラフで表すとこんな感じです。
推移確率行列
石1から石2に移る確率が....といっぱい書くのって面倒くさいですよね。これを行列で一発表記することが出来ちゃいます。
推移確率行列Pは次のよう。
いやあ、そもそも行列とかいうの知らないっす、しんどいっすって人のために説明しておくと、
行列は要は数字を縦横にいっぱい並べたものです。上のような行列を2行2列の行列と呼んだりします。
ちなみに0.8がある場所が2行1列目、0.2がある場所が2行2列目です。
今回の推移確率行列の解釈は、
・「1行1列目」→石1にいて次も石1に留まる確率
・「1行2列目」→石1にいて次は石2に移る確率
・「2行2列目」→石2にいて次も石2に留まる確率
・「2行1列目」→石2にいて次は石1に移る確率
という感じです。行数と列数が増えてもこの解釈は変わりません。
二秒経った場合の確率を考える
カエルが今石1にいたとしましょう。1秒後に石2に移動する確率は0.5,石1に留まる確率は0.5です。
では、更にもう1秒経った時に石1にいる確率はいくらでしょうか。これは次のパターンが考えられます。
・石1→石1→石1
・石1→石2→石1
つまり、初めに石1にいて、2秒後に石1にいる確率は
となりますね。つまり
65％ということになります。
推移確率行列の使い方
2秒後にどういう状態になっているかという確率を考えるだけでも結構大変でしたね。今回は初めに石1にいると仮定しましたが、実際は石2にいるかもしれません。そうなってくると結構計算を考えるのも面倒になってきます。しかし、推移確率行列を使えばあまり考えずとも確率を計算することが出来ます。
推移確率行列Pは次のようでした。
このPと同じPの積をとってやります。行列の積の計算が分からない人は下の式でなんとなーく理解してください。
=
さっき二秒経った場合で求めた、2秒後に石1から石1に移動している確率の計算が今回の行列の1行1列目に来ていることを確認してみてください。
これがこの行列Pの便利なところで、例えば最初に石2にいて、3秒後に石1にいる確率は推移行列Pを3回かけて、2行1列目を見てやると良いわけです。
それでは一般化してやります。
ということになりますね。ここでとはP同士の積をn回とったものとします。
この関係をチャップマンコルモゴロフ方程式と呼びます。
推移確率行列の性質
推移確率行列にはちょっとした性質があります。
Pの行の和を取ってみてください。どれも和を取ると1になっています。これは何回かけたものであっても同じです。
これはよく考えてみると当たり前で、推移確率行列の行、例えば1行目は石1から石1にいく確率と石1から石2に行く確率を表しています。石1から行ける場所は石1か石2しかないはずなので、これらの確率が足して1にならないとおかしなことになるわけです。
推移確率行列を考えると何が嬉しいのか
今までの話からも何となく察しがつくとは思いますが、要はマルコフ連鎖を考えるにあたって、一般的な話になればなるほど推移確率行列を使って情報をまとめていかないと、収拾がつかなくなってしまうわけです。そういうわけで今回は数学ちょっと多めですが、推移確率行列の導入ということで、記事を書かせていただきました。
