統計検定1級対策問題集~十分統計量編１~

今回は十分統計量に関する問題をまとめていきます。少し量が多いので、2回に分けます。
目次

十分統計量とは
フィッシャーネイマンの分解定理
分解定理を使わない例

十分統計量とは

標本 $X$ とその分布のパラメータ $\theta$ を考えます。この時、次の等式が成り立つ統計量 $T(X)$ を十分統計量と呼びます。

$P(X=x|T(X)=t,\theta)=P(X=x|T(X)=t)$

これは、どう解釈すれば良いかというと、

「パラメータ $\theta$ の情報を $T(X)$ は十分に持っている」

と解釈出来ます。

等式を見ていただけるとわかるように $\theta$ があろうと無かろうと、 $X$ の分布には変化がありません。

フィッシャーネイマンの分解定理

$T(X)$ が $\theta$ の十分統計量であるとき、確率密度関数(確率質量関数)は次のように分解できる。

$f(x;\theta)=h(x)g(T(x),\theta)$

これをフィッシャーネイマンの分解定理(factorization theorem)と呼びます。

この定理の証明は間違いなく出題されませんので、省略します。
というのも、この分解定理の証明には測度論を利用します。これは、1級範囲を逸脱していますし、実際公式教科書でも、しれっと証明を省略しています。

この定理を利用して、ある $T(X)$ が十分統計量であることを証明します。

ベルヌーイ分布

ベルヌーイ分布の確率質量関数 $f(x;p)$ は次のようでした。

$f(x;n,p)=p^x(1-p)^{1-x}$

$x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、同時分布は

$P(x_1,\cdots,x_n ;n,p)=p^{\sum_{i=1}^n x_i}(1-p)^{n-\sum_{i=1}^n x_i}$

ですが、この時、 $T(X)=\sum_{i=1}^n x_i$ がパラメータ $p$ の十分統計量であることを示します。

$P(x_1,\cdots,x_n ;n,p)=\frac{p}{1-p}^{\sum_{i=1}^n x_i} (1-p)^n=(\frac{p}{1-p})^{T(X)} (1-p)^n$

この時 $h(x)=1,g(T(x),p)=(\frac{p}{1-p})^{T(X)} (1-p)^n$ と見ると、フィッシャーネイマンの分解定理から、 $T(X)=\sum_{i=1}^n x_i$ はパラメータ $p$ の十分統計量です。

ポアソン分布

ポアソン分布の確率質量関数 $f(x;p)$ は次のようでした。

$f(x;\lambda)=\frac{e^{-\lambda} \lambda^x}{x!}$

$x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、同時分布は

$P(x_1,\cdots,x_n ;n,\lambda)=\frac{e^{-n\lambda} \lambda^{\sum_{i=1}^n x_i}}{\prod_{i=1}^n x_i}$

ですが、この時、 $T(X)=\sum_{i=1}^n x_i$ がパラメータ $\lambda$ の十分統計量であることを示します。

$P(x_1,\cdots,x_n ;n,\lambda)=\frac{1}{\prod_{i=1}^n x_i} e^{-n\lambda} \lambda^{\sum_{i=1}^n x_i}=\frac{1}{\prod_{i=1}^n x_i} e^{-n\lambda} \lambda^{T(X)}$

$h(x)=\frac{1}{\prod_{i=1}^n x_i} ,g(T(x),\lambda)=e^{-n\lambda} \lambda^{T(X)}$ と見ると、フィッシャーネイマンの分解定理から $T(X)=\sum_{i=1}^n x_i$ はパラメータ $\lambda$ の十分統計量です。

正規分布

正規分布の確率密度関数 $f(x;\mu,\sigma)$ は次のようでした。

$f(x;\mu,\sigma)=\frac{1}{\sqrt{2 \pi \sigma^2}} exp(-\frac{(x-\mu)^2}{2\sigma^2})$

$x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、同時分布は

$P(x_1,\cdots,x_n ;n,\mu,\sigma) = (2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n (x_i-\mu)^2}{2\sigma^2})$

この時、 $T_{\mu}(X)=\sum_{i=1}^n x_i$ がパラメータ $\mu$ の十分統計量、 $(T_{\mu}(X),T_{\sigma}(X))=(\sum_{i=1}^n x_i,\sum_{i=1}^n x_i^2)$ がパラメータ $(\mu,\sigma)$ の十分統計量であることを示します。

$P(x_1,\cdots,x_n ;n,\mu,\sigma) = (2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n x_i^2-2\mu \sum_{i=1}^n x_i+n\mu^2}{2\sigma^2})$

まず、
$P(x_1,\cdots,x_n ;n,\mu,\sigma) =(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n x_i^2-2\mu T_{\mu}(X)+n\mu^2}{2\sigma^2})$
$=(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n x_i^2}{2\sigma^2}) exp(-\frac{-2\mu T_{\mu}(X)+n\mu^2}{2 \sigma^2})$

このように見ると、 $h(x)=(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n x_i^2}{2\sigma^2})$ であり、
$g(T_{\mu}(X),\mu)=exp(-\frac{-2\mu T_{\mu}(X)+n\mu^2}{2 \sigma^2})$ のため、フィッシャーネイマンの分解定理から、 $T_{\mu}(X)$ は $\mu$ に関する十分統計量です。

また、
$P(x_1,\cdots,x_n ;n,\mu,\sigma) =(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{T_{\sigma}(X)-2\mu T_{\mu}(X)+n\mu^2}{2\sigma^2})$

であるので、

$h(x)=1,g(T_{\sigma}(X),T_{\mu}(X),\mu,\sigma)=(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{T_{\sigma}(X)-2\mu T_{\mu}(X)+n\mu^2}{2\sigma^2})$ と見ると、 $(T_{\mu}(X),T_{\sigma}(X))=(\sum_{i=1}^n x_i,\sum_{i=1}^n x_i^2)$ はパラメータベクトル $(\mu,\sigma)$ の十分統計量ベクトルである。

分解定理を使わない例

当然、十分統計量かどうかは分解定理を使わずとも、定義から示すことも可能です。
ただ、計算がしんどいので、普通は分解定理で示します。

ベルヌーイ分布で考える場合、結構計算が簡単なのでこれで確認してみます。

ベルヌーイ分布の確率質量関数 $f(x;p)$ は次のようでした。

$f(x;n,p)=p^x(1-p)^{1-x}$

$x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、同時分布は

$P(x_1,\cdots,x_n ;n,p)=p^{\sum_{i=1}^n x_i}(1-p)^{n-\sum_{i=1}^n x_i}$

ですが、この時、 $T(X)=\sum_{i=1}^n x_i$ がパラメータ $p$ の十分統計量であることを示します。

$P(x_1,\cdots,x_n |n,p)=p^{\sum_{i=1}^n x_i}(1-p)^{n-\sum_{i=1}^n x_i}=p^{T(X)}(1-p)^{n-T(X)}$

ここで
$P(T(X)=t |n,p)=p^{t}(1-p)^{n-t} 1_{\{T(x)=t\}}$

$P(x_1,\cdots,x_n,T(X)=t |n,p)= \sum_{x:\{T(x)=t\}} P(x_1,\cdots,x_n |n,p)=\begin{eqnarray*} && {}_n C _t \\ \end{eqnarray*} p^{T(X)}(1-p)^{n-T(X)}$

以上より
$P(x_1,\cdots,x_n |n,p,T(X)=t)=\frac{P(T(X)=t |n,p)}{P(x_1,\cdots,x_n,T(X)=t |n,p)}=\frac{1}{\begin{eqnarray*} && {}_n C _t \\ \end{eqnarray*}} 1_{\{T(x)=t\}}=P(x_1,\cdots,x_n |n,T(X)=t)$

確かに示せました。