統計検定1級対策問題集~十分統計量編2~

十分統計量に関する問題2記事目です。

ラオブラックウェルの定理
- ラオブラックウェルの定理とは
- ラオブラックウェルの定理証明
フィッシャーネイマンの分解定理
リンク

ラオブラックウェルの定理

ラオブラックウェルの定理とは

初めに完備十分統計量を考える上で重要になってくる「ラオブラックウェルの定理」の証明についてやっておきます。

実際の数理統計の本であれば、ラオブラックウェルの定理を示した後、完備性について解説し、完備十分統計量について話が移ります。

ただ、統計検定1級公式参考書では完備十分統計量までは触れていません。
ラオブラックウェルの定理までの説明で終わっているので、とりあえずこの定理の証明までは確認しておきます。

次のような定理をラオブラックウェルの定理と呼びます。
$T$ を $\theta$ の十分統計量とする。ここで、 $\theta$ のある推定量 $\delta(X)$ について、次のような推定量 $\delta_1(T)$ をラオブラックウェル推定量と呼ぶことにする。

$\delta_1(T)=E_{\theta}[\delta(X)|T]$

そして、ラオブラックウェル推定量が満たす次のような性質をラオブラックウェルの定理と呼ぶ。

$E_{\theta}[(\delta_1(T)-\theta)^2]≦E_{\theta}[(\delta(X)-\theta)^2]$

不等式の両サイドは平均二乗誤差になっています。
つまり、この不等式からわかることは

「ある推定量 $\delta$ を考えた時に、それよりも平均二乗誤差を小さくする(又は同等)推定量を、十分統計量を条件付けることで考えることが出来る」

ということです。単純ですが強力な定理です。

ラオブラックウェルの定理証明

まず、 $E_{\theta}[\delta_1(T)]=E_{\theta}[\delta(X)]$ であることを示します。

$E_{\theta}[\delta_1(T)]=\int_T \int_X \delta(X) dP(X|T) dP(T)$

$=\int_X \delta(X) dP(X)=E_{\theta}[\delta(X)]$

また、 $E_{\theta}[\delta_1(T)^2]≦E_{\theta}[\delta(X)^2]$ であることも示します。

$E_{\theta}[\delta_1(T)^2]=E_{T;\theta}[ E_{\theta}[\delta(X)|T]^2]$

$E_{\theta}[\delta(X)^2]=E_{T;\theta}[E_{\theta}[\delta(X)^2|T]]$

更にイェンゼン不等式を用いて、
$E_{T;\theta}[ E_{\theta}[\delta(X)|T]^2]≦E_{T;\theta}[E_{\theta}[\delta(X)^2|T]]$

以上より示せた。

最後にラオブラックウェルの定理を示します。
$E_{\theta}[(\delta_1(T)-\theta)^2]=E_{\theta}[\delta_1(T)^2]-2\theta E_{\theta}[\delta_1(T)]+\theta^2$

$E_{\theta}[(\delta(X)-\theta)^2]=E_{\theta}[\delta(X)^2]-2\theta E_{\theta}[\delta(X)]+\theta^2$

上二つの性質から
$E_{\theta}[(\delta_1(T)-\theta)^2]≦E_{\theta}[(\delta(X)-\theta)^2]$

フィッシャーネイマンの分解定理

負の二項分布

負の二項分布の確率質量関数 $f(x;p,r)$ は次のようになります。

$f(x;p,r)=\begin{eqnarray*} && {}_{r+x-1} C _x \\ \end{eqnarray*} p^r (1-p)^x$

$x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、同時分布は

$P(x_1,\cdots,x_n ;n,p,r) = \prod_{i=1}^n \{ \begin{eqnarray*} && {}_{r+x_i-1} C _{x_i} \\ \end{eqnarray*} p^r (1-p)^{x_i} \}$

$= \{ \prod_{i=1}^n \begin{eqnarray*} && {}_{r+x_i-1} C _{x_i} \\ \end{eqnarray*} \} p^{nr} (1-p)^{ \sum_{i=1}^n x_i }$

この時、 $T(X)=\sum_{i=1}^n x_i$ がパラメータ $p$ の十分統計量であることを示します。

フィッシャーネイマンの分解定理より、

$h(X)=\{\prod_{i=1}^n \begin{eqnarray*} && {}_{r+x_i-1} C _{x_i} \\ \end{eqnarray*} \}$

$g(T(X),p)=p^{nr}(1-p)^{T(X)}$

とみると、 $T(X)=\sum_{i=1}^n x_i$ がパラメータ $p$ の十分統計量であることがわかる。

ガンマ分布

ガンマ分布の確率密度関数 $f(x;\alpha,\beta)$ は次のようになります。

$f(x;\alpha,\beta)=\frac{\beta^{\alpha}}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}$

$x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、

$T_{\alpha}(X)=\prod_{i=1}^n x_i$ は $\alpha$ の十分統計量
$T_{\beta}(X)=\sum_{i=1}^n x_i$ は $\beta$ の十分統計量です。これを示します。

同時分布は

$P(x_1,\cdots,x_n ;\alpha,\beta)=\frac{\beta^{n\alpha}}{\Gamma(\alpha)^n} \{\prod_{i=1}^n x_i\}^{\alpha-1} e^{-\beta\sum_{i=1}^n x_i}$

よって、

$h_{\alpha}(X)=e^{-\beta\sum_{i=1}^n x_i}$

$g(T_{\alpha}(X),\alpha)=\frac{\beta^{n\alpha}}{\Gamma(\alpha)^n} \{T_{\alpha}(X)\}^{\alpha-1}$

とみると、フィッシャーネイマンの分解定理より、 $T_{\alpha}(X)=\prod_{i=1}^n x_i$ は $\alpha$ の十分統計量。

また、 $h_{\beta}(X)= \frac{1}{\Gamma(\alpha)^n} \{\prod_{i=1}^n x_i\}^{\alpha-1}$

$g(T_{\beta}(X),\beta)=\beta^{n\alpha} e^{-\beta T_{\beta}(X)}$

と見ると、フィッシャーネイマンの分解定理より、 $T_{\beta}(X)=\sum_{i=1}^n x_i$ は $\beta$ の十分統計量

一様分布

下限が0,上限が未知パラメータ $\theta$ であるときの一様分布を考えます。この時、密度関数は次のようになります。

$f(x;\theta)=\frac{1}{\theta}$ $(0≦x≦\theta)$

これは、見方を変えると次のように書くことも出来ます。

$f(x;\theta)=\frac{1_{\{0≦x≦\theta\}}}{\theta}$

ここで、 $x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、 $\theta$ の十分統計量は $max\{x_1,\cdots , x_n\}$ となります。

これを示します。

同時分布は次のようになるので

$P(x_1,\cdots x_n;n,\theta)=\frac{1_{\{max\{x_1,\cdots , x_n\}≦\theta\}}}{\theta^n}$

フィッシャーネイマンの分解定理より、 $\theta$ の十分統計量は $max\{x_1,\cdots , x_n\}$ であることは明らか。

リンク

統計検定1級対策問題集~十分統計量編１~ - バナナでもわかる話