識別条件を満たさないモデルをベイズで解釈する(?)

今回の記事は、ちょっとある噂を耳にしたのでそれに関する検証をしようかと思います。

「識別条件を満たさないモデルでもベイズだと(どういう意味合かはわからないが)解釈出来るらしい」

という話を耳にしまして。
ちょっとどういう意味合いで解釈できるのか、どういう意味で妥当なのかを聞きそびれたので、今回はそれを検証してみようかと思います。
(そもそも個人的には、本当かどうかも疑わしい気がしてるのですが...どうなのでしょうか。)

識別条件

まず、一般的に統計モデルには識別条件というものがあって、
要はこの条件を満たさないモデルのパラメータはまともに推定することも、理論上解釈することも出来ないというお話です。

例えば、次のような線形モデルを考えたとします。

$Y=a×bX+\epsilon$

$a$ と $b$ がパラメータです。

普通の線形モデルだと下のような形をしているわけですが
$Y=b^{*}X+\epsilon$

今回は $a$ と $b$ がふたつ掛けてあります。
このモデルは識別条件を満たさないモデルになります。どういうことかというと、
例えば $X$ が10, $Y$ が20だったとして、

$Y=b^{*}X$

というモデルだったならば $b^{*}=2$ だとわかりますが、

$Y=a×bX$

というモデルの場合 $a×b=2$ になってしまい、 $a$ と $b$ がどのような値を取るかはわかりません。
$a=1,b=2$ かもしれないし、 $a=4,b=\frac{1}{2}$ かもしれません。 $a$ と $b$ の値がどのようなデータが得られたとしても識別出来ません！！

よって、このモデルはいくらデータを集めても解釈できないモデルになってしまうというわけです。

ベイズ

で、この解釈出来ないモデルをベイズで考えると、一応(どういう意味合いかはさておき)問題なく解釈出来る

という話を聞いたわけなんですね。

「「そんな馬鹿な....

普通にデータから情報が無いのだからベイズだろうがなんだろうが、どうしようもないはずでは.....」」

なんて思いつつやっていきます。

使用データ

$y_i=3+5×10x_i+\epsilon_i$
$\epsilon_i \tilde{} Normal(0,30)$

によって出来る $(x_i,y_i)$ の組を

① $i=1,2,...70$ のデータ
② $i=1,2,...700$ のデータ

と2種類作成し、試してみます。
①の方がサンプルサイズが小さいというだけですね。

モデル

ベイズモデルとして次のようなモデルを考えます。

$y=\alpha+b_1 b_2 x+\epsilon$

$\epsilon\tilde{}Normal(\mu,\sigma)$
$b_1 b_2 =\beta$

パラメータの事前分布は、全て範囲を十分広く取った無情報事前分布(一様分布)。
ただし $\sigma>0$

ベイズについてよくわからないという方は、こちらをどうぞ
ベイズ統計学カテゴリーの記事一覧 - バナナでもわかる話

Rstanによるコード

library(rstan)

model="
data{
	int N;
	real Y[N];
	real X[N]
}

parameters{
	real alpha;
	real b1;
	real b2;
	real<lower=0> sigma;
}

transformed parameters{
	real beta;
	real mu[N];
	beta=b1*b2;
	for(n in 1:N)
		mu[n]=beta*X[n];
}

model{
	for(i in 1:N)
		Y[n]~normal(mu[n],sigma);
}
"

とりあえずこんな感じですね。あとは実行して、収束を確認して結果を見るだけ。

MCMCの収束

とりあえず、 $\mu$ を全部見せるとえらいこっちゃなるので、主要パラメータだけ確認するとこんな感じ。

①サンプルサイズ70の方
f:id:bananarian:20181108215704p:plain

②サンプルサイズ700の方
f:id:bananarian:20181108215722p:plain

$\alpha,\beta$ は良い感じですが、まあ当たり前ですが $b_1,b_2$ は乱数の発生のさせ方次第でバラバラですね....
うーむ。まあとりあえず $\beta$ はうまくいっていそうなので、事後分布のヒストグラムの方も見てみることにします。

事後分布

①サンプルサイズ70の方
f:id:bananarian:20181108220137p:plain

②サンプルサイズ700の方
f:id:bananarian:20181108220202p:plain

とりあえず、 $\alpha,\beta$ に関して言えばサンプルサイズを大きく取ってデータの情報が増えると、それに合わせて分布のボリュームが設定した値によっていることが確認出来ますね。

②のヒストグラムを見ていただけるとわかる通り、 $b_1,b_2$ についても、正直偶然の産物のようにも見えますが、絶対値を取れば $5から10$ 近辺の値がボリュームになっています。不思議ですね～なんで5のあたりできっぱりなくなってるんだろ。正直眉唾なので偶然こうなっただけだと思っておきたい気もしています。