バナナでもわかる話

開設当初は計量経済学・統計学が専門の大学院生でした。今はデータを扱うお仕事をしています。統計学・経済学・投資理論・マーケティング等々に関する勉強・解説ブログ。ときどき趣味も。極力数式は使わずイメージで説明出来るよう心掛けていますが、時々暴走します。

統計検定1級対策問題集~十分統計量編2~

十分統計量に関する問題2記事目です。

目次


スポンサーリンク


ラオブラックウェルの定理

ラオブラックウェルの定理とは

初めに完備十分統計量を考える上で重要になってくる「ラオブラックウェルの定理」の証明についてやっておきます。

実際の数理統計の本であれば、ラオブラックウェルの定理を示した後、完備性について解説し、完備十分統計量について話が移ります。

ただ、統計検定1級公式参考書では完備十分統計量までは触れていません。
ラオブラックウェルの定理までの説明で終わっているので、とりあえずこの定理の証明までは確認しておきます。


次のような定理をラオブラックウェルの定理と呼びます。
 T \thetaの十分統計量とする。ここで、 \thetaのある推定量\delta(X)について、次のような推定量 \delta_1(T)をラオブラックウェル推定量と呼ぶことにする。

 \delta_1(T)=E_{\theta}[\delta(X)|T]

そして、ラオブラックウェル推定量が満たす次のような性質をラオブラックウェルの定理と呼ぶ。

 E_{\theta}[(\delta_1(T)-\theta)^2]≦E_{\theta}[(\delta(X)-\theta)^2]

不等式の両サイドは平均二乗誤差になっています。
つまり、この不等式からわかることは

「ある推定量 \deltaを考えた時に、それよりも平均二乗誤差を小さくする(又は同等)推定量を、十分統計量を条件付けることで考えることが出来る」

ということです。単純ですが強力な定理です。

ラオブラックウェルの定理証明

まず、 E_{\theta}[\delta_1(T)]=E_{\theta}[\delta(X)]であることを示します。

 E_{\theta}[\delta_1(T)]=\int_T \int_X \delta(X) dP(X|T) dP(T)

 =\int_X \delta(X) dP(X)=E_{\theta}[\delta(X)]


また、 E_{\theta}[\delta_1(T)^2]≦E_{\theta}[\delta(X)^2]であることも示します。

 E_{\theta}[\delta_1(T)^2]=E_{T;\theta}[ E_{\theta}[\delta(X)|T]^2]

 E_{\theta}[\delta(X)^2]=E_{T;\theta}[E_{\theta}[\delta(X)^2|T]]

更にイェンゼン不等式を用いて、
 E_{T;\theta}[ E_{\theta}[\delta(X)|T]^2]≦E_{T;\theta}[E_{\theta}[\delta(X)^2|T]]

以上より示せた。


最後にラオブラックウェルの定理を示します。
 E_{\theta}[(\delta_1(T)-\theta)^2]=E_{\theta}[\delta_1(T)^2]-2\theta E_{\theta}[\delta_1(T)]+\theta^2

 E_{\theta}[(\delta(X)-\theta)^2]=E_{\theta}[\delta(X)^2]-2\theta E_{\theta}[\delta(X)]+\theta^2


上二つの性質から
 E_{\theta}[(\delta_1(T)-\theta)^2]≦E_{\theta}[(\delta(X)-\theta)^2]

フィッシャーネイマンの分解定理

負の二項分布

負の二項分布の確率質量関数 f(x;p,r)は次のようになります。

 f(x;p,r)=\begin{eqnarray*}
  && {}_{r+x-1} C _x \\
\end{eqnarray*} p^r (1-p)^x


 x_1,\cdots,x_nのサンプルを独立同一に得たとすると、同時分布は

 P(x_1,\cdots,x_n ;n,p,r) = \prod_{i=1}^n \{ \begin{eqnarray*}
  && {}_{r+x_i-1} C _{x_i} \\
\end{eqnarray*} p^r (1-p)^{x_i} \}

 = \{ \prod_{i=1}^n  \begin{eqnarray*}
  && {}_{r+x_i-1} C _{x_i} \\
\end{eqnarray*} \} p^{nr} (1-p)^{ \sum_{i=1}^n x_i }

この時、 T(X)=\sum_{i=1}^n x_iがパラメータ pの十分統計量であることを示します。

フィッシャーネイマンの分解定理より、

 h(X)=\{\prod_{i=1}^n \begin{eqnarray*}
  && {}_{r+x_i-1} C _{x_i} \\
\end{eqnarray*} \}

 g(T(X),p)=p^{nr}(1-p)^{T(X)}

とみると、  T(X)=\sum_{i=1}^n x_iがパラメータ pの十分統計量であることがわかる。


ガンマ分布

ガンマ分布の確率密度関数 f(x;\alpha,\beta)は次のようになります。

 f(x;\alpha,\beta)=\frac{\beta^{\alpha}}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}

 x_1,\cdots,x_nのサンプルを独立同一に得たとすると、

 T_{\alpha}(X)=\prod_{i=1}^n x_i \alphaの十分統計量
 T_{\beta}(X)=\sum_{i=1}^n x_i \betaの十分統計量です。これを示します。


同時分布は

 P(x_1,\cdots,x_n ;\alpha,\beta)=\frac{\beta^{n\alpha}}{\Gamma(\alpha)^n} \{\prod_{i=1}^n x_i\}^{\alpha-1} e^{-\beta\sum_{i=1}^n x_i}


よって、

 h_{\alpha}(X)=e^{-\beta\sum_{i=1}^n x_i}

 g(T_{\alpha}(X),\alpha)=\frac{\beta^{n\alpha}}{\Gamma(\alpha)^n} \{T_{\alpha}(X)\}^{\alpha-1}

とみると、フィッシャーネイマンの分解定理より、 T_{\alpha}(X)=\prod_{i=1}^n x_i \alphaの十分統計量。


また、 h_{\beta}(X)= \frac{1}{\Gamma(\alpha)^n} \{\prod_{i=1}^n x_i\}^{\alpha-1}

 g(T_{\beta}(X),\beta)=\beta^{n\alpha} e^{-\beta T_{\beta}(X)}

と見ると、フィッシャーネイマンの分解定理より、 T_{\beta}(X)=\sum_{i=1}^n x_i \betaの十分統計量


一様分布

下限が0,上限が未知パラメータ \thetaであるときの一様分布を考えます。この時、密度関数は次のようになります。

 f(x;\theta)=\frac{1}{\theta}   (0≦x≦\theta)

これは、見方を変えると次のように書くことも出来ます。

 f(x;\theta)=\frac{1_{\{0≦x≦\theta\}}}{\theta}

ここで、 x_1,\cdots,x_nのサンプルを独立同一に得たとすると、 \thetaの十分統計量は max\{x_1,\cdots , x_n\}となります。

これを示します。

同時分布は次のようになるので

 P(x_1,\cdots x_n;n,\theta)=\frac{1_{\{max\{x_1,\cdots , x_n\}≦\theta\}}}{\theta^n}

フィッシャーネイマンの分解定理より、 \thetaの十分統計量は max\{x_1,\cdots , x_n\}であることは明らか。