バナナでもわかる話

開設当初は計量経済学・統計学が専門の大学院生でした。今はデータを扱うお仕事をしています。統計学・経済学・投資理論・マーケティング等々に関する勉強・解説ブログ。ときどき趣味も。極力数式は使わずイメージで説明出来るよう心掛けていますが、時々暴走します。

統計検定1級対策問題集~十分統計量編1~

今回は十分統計量に関する問題をまとめていきます。少し量が多いので、2回に分けます。
目次


スポンサーリンク


十分統計量とは

標本 Xとその分布のパラメータ \theta を考えます。この時、次の等式が成り立つ統計量 T(X)を十分統計量と呼びます。

 P(X=x|T(X)=t,\theta)=P(X=x|T(X)=t)

これは、どう解釈すれば良いかというと、

「パラメータ \thetaの情報を T(X)は十分に持っている」

と解釈出来ます。

等式を見ていただけるとわかるように \thetaがあろうと無かろうと、 Xの分布には変化がありません。

フィッシャーネイマンの分解定理

フィッシャーネイマンの分解定理

 T(X) \thetaの十分統計量であるとき、確率密度関数(確率質量関数)は次のように分解できる。

 f(x;\theta)=h(x)g(T(x),\theta)

これをフィッシャーネイマンの分解定理(factorization theorem)と呼びます。

この定理の証明は間違いなく出題されませんので、省略します。
というのも、この分解定理の証明には測度論を利用します。これは、1級範囲を逸脱していますし、実際公式教科書でも、しれっと証明を省略しています。

この定理を利用して、ある T(X)が十分統計量であることを証明します。

ベルヌーイ分布

ベルヌーイ分布の確率質量関数 f(x;p)は次のようでした。

 f(x;n,p)=p^x(1-p)^{1-x}

 x_1,\cdots,x_nのサンプルを独立同一に得たとすると、同時分布は

 P(x_1,\cdots,x_n ;n,p)=p^{\sum_{i=1}^n x_i}(1-p)^{n-\sum_{i=1}^n x_i}


ですが、この時、 T(X)=\sum_{i=1}^n x_iがパラメータ pの十分統計量であることを示します。

 P(x_1,\cdots,x_n ;n,p)=\frac{p}{1-p}^{\sum_{i=1}^n x_i} (1-p)^n=(\frac{p}{1-p})^{T(X)} (1-p)^n

この時 h(x)=1,g(T(x),p)=(\frac{p}{1-p})^{T(X)} (1-p)^nと見ると、フィッシャーネイマンの分解定理から、 T(X)=\sum_{i=1}^n x_iはパラメータ pの十分統計量です。


ポアソン分布

ポアソン分布の確率質量関数 f(x;p)は次のようでした。

 f(x;\lambda)=\frac{e^{-\lambda} \lambda^x}{x!}

 x_1,\cdots,x_nのサンプルを独立同一に得たとすると、同時分布は

 P(x_1,\cdots,x_n ;n,\lambda)=\frac{e^{-n\lambda} \lambda^{\sum_{i=1}^n x_i}}{\prod_{i=1}^n x_i}

ですが、この時、 T(X)=\sum_{i=1}^n x_iがパラメータ \lambdaの十分統計量であることを示します。

 P(x_1,\cdots,x_n ;n,\lambda)=\frac{1}{\prod_{i=1}^n x_i} e^{-n\lambda} \lambda^{\sum_{i=1}^n x_i}=\frac{1}{\prod_{i=1}^n x_i} e^{-n\lambda} \lambda^{T(X)}


 h(x)=\frac{1}{\prod_{i=1}^n x_i} ,g(T(x),\lambda)=e^{-n\lambda} \lambda^{T(X)}と見ると、フィッシャーネイマンの分解定理から T(X)=\sum_{i=1}^n x_iはパラメータ \lambdaの十分統計量です。


正規分布

正規分布の確率密度関数 f(x;\mu,\sigma)は次のようでした。

 f(x;\mu,\sigma)=\frac{1}{\sqrt{2 \pi \sigma^2}} exp(-\frac{(x-\mu)^2}{2\sigma^2})

 x_1,\cdots,x_nのサンプルを独立同一に得たとすると、同時分布は

 P(x_1,\cdots,x_n ;n,\mu,\sigma) = (2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n (x_i-\mu)^2}{2\sigma^2})


この時、 T_{\mu}(X)=\sum_{i=1}^n x_iがパラメータ \muの十分統計量、 (T_{\mu}(X),T_{\sigma}(X))=(\sum_{i=1}^n x_i,\sum_{i=1}^n x_i^2)がパラメータ (\mu,\sigma)の十分統計量であることを示します。


 P(x_1,\cdots,x_n ;n,\mu,\sigma) = (2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n x_i^2-2\mu \sum_{i=1}^n x_i+n\mu^2}{2\sigma^2})

まず、
 P(x_1,\cdots,x_n ;n,\mu,\sigma) =(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n x_i^2-2\mu T_{\mu}(X)+n\mu^2}{2\sigma^2})
 =(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n x_i^2}{2\sigma^2}) exp(-\frac{-2\mu T_{\mu}(X)+n\mu^2}{2 \sigma^2})

このように見ると、 h(x)=(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n x_i^2}{2\sigma^2})であり、
 g(T_{\mu}(X),\mu)=exp(-\frac{-2\mu T_{\mu}(X)+n\mu^2}{2 \sigma^2})のため、フィッシャーネイマンの分解定理から、 T_{\mu}(X) \muに関する十分統計量です。

また、
 P(x_1,\cdots,x_n ;n,\mu,\sigma) =(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{T_{\sigma}(X)-2\mu T_{\mu}(X)+n\mu^2}{2\sigma^2})

であるので、

 h(x)=1,g(T_{\sigma}(X),T_{\mu}(X),\mu,\sigma)=(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{T_{\sigma}(X)-2\mu T_{\mu}(X)+n\mu^2}{2\sigma^2})と見ると、 (T_{\mu}(X),T_{\sigma}(X))=(\sum_{i=1}^n x_i,\sum_{i=1}^n x_i^2)はパラメータベクトル (\mu,\sigma)の十分統計量ベクトルである。


分解定理を使わない例

当然、十分統計量かどうかは分解定理を使わずとも、定義から示すことも可能です。
ただ、計算がしんどいので、普通は分解定理で示します。

ベルヌーイ分布で考える場合、結構計算が簡単なのでこれで確認してみます。


ベルヌーイ分布の確率質量関数 f(x;p)は次のようでした。

 f(x;n,p)=p^x(1-p)^{1-x}

 x_1,\cdots,x_nのサンプルを独立同一に得たとすると、同時分布は

 P(x_1,\cdots,x_n ;n,p)=p^{\sum_{i=1}^n x_i}(1-p)^{n-\sum_{i=1}^n x_i}


ですが、この時、 T(X)=\sum_{i=1}^n x_iがパラメータ pの十分統計量であることを示します。


 P(x_1,\cdots,x_n |n,p)=p^{\sum_{i=1}^n x_i}(1-p)^{n-\sum_{i=1}^n x_i}=p^{T(X)}(1-p)^{n-T(X)}

ここで
 P(T(X)=t |n,p)=p^{t}(1-p)^{n-t} 1_{\{T(x)=t\}}

 P(x_1,\cdots,x_n,T(X)=t |n,p)= \sum_{x:\{T(x)=t\}} P(x_1,\cdots,x_n |n,p)=\begin{eqnarray*}
  && {}_n C _t \\
\end{eqnarray*} p^{T(X)}(1-p)^{n-T(X)}


以上より
 P(x_1,\cdots,x_n |n,p,T(X)=t)=\frac{P(T(X)=t |n,p)}{P(x_1,\cdots,x_n,T(X)=t |n,p)}=\frac{1}{\begin{eqnarray*}
  && {}_n C _t \\
\end{eqnarray*}} 1_{\{T(x)=t\}}=P(x_1,\cdots,x_n |n,T(X)=t)

確かに示せました。