2019-04-30

統計検定1級対策問題集~十分統計量編2~

統計検定対策問題統計検定統計学基礎統計負の二項分布

十分統計量に関する問題2記事目です。

ラオブラックウェルの定理
- ラオブラックウェルの定理とは
- ラオブラックウェルの定理証明
フィッシャーネイマンの分解定理
リンク

ラオブラックウェルの定理

ラオブラックウェルの定理とは

初めに完備十分統計量を考える上で重要になってくる「ラオブラックウェルの定理」の証明についてやっておきます。

実際の数理統計の本であれば、ラオブラックウェルの定理を示した後、完備性について解説し、完備十分統計量について話が移ります。

ただ、統計検定1級公式参考書では完備十分統計量までは触れていません。
ラオブラックウェルの定理までの説明で終わっているので、とりあえずこの定理の証明までは確認しておきます。

次のような定理をラオブラックウェルの定理と呼びます。
$T$ を $\theta$ の十分統計量とする。ここで、 $\theta$ のある推定量 $\delta(X)$ について、次のような推定量 $\delta_1(T)$ をラオブラックウェル推定量と呼ぶことにする。

$\delta_1(T)=E_{\theta}[\delta(X)|T]$

そして、ラオブラックウェル推定量が満たす次のような性質をラオブラックウェルの定理と呼ぶ。

$E_{\theta}[(\delta_1(T)-\theta)^2]≦E_{\theta}[(\delta(X)-\theta)^2]$

不等式の両サイドは平均二乗誤差になっています。
つまり、この不等式からわかることは

「ある推定量 $\delta$ を考えた時に、それよりも平均二乗誤差を小さくする(又は同等)推定量を、十分統計量を条件付けることで考えることが出来る」

ということです。単純ですが強力な定理です。

ラオブラックウェルの定理証明

まず、 $E_{\theta}[\delta_1(T)]=E_{\theta}[\delta(X)]$ であることを示します。

$E_{\theta}[\delta_1(T)]=\int_T \int_X \delta(X) dP(X|T) dP(T)$

$=\int_X \delta(X) dP(X)=E_{\theta}[\delta(X)]$

また、 $E_{\theta}[\delta_1(T)^2]≦E_{\theta}[\delta(X)^2]$ であることも示します。

$E_{\theta}[\delta_1(T)^2]=E_{T;\theta}[ E_{\theta}[\delta(X)|T]^2]$

$E_{\theta}[\delta(X)^2]=E_{T;\theta}[E_{\theta}[\delta(X)^2|T]]$

更にイェンゼン不等式を用いて、
$E_{T;\theta}[ E_{\theta}[\delta(X)|T]^2]≦E_{T;\theta}[E_{\theta}[\delta(X)^2|T]]$

以上より示せた。

最後にラオブラックウェルの定理を示します。
$E_{\theta}[(\delta_1(T)-\theta)^2]=E_{\theta}[\delta_1(T)^2]-2\theta E_{\theta}[\delta_1(T)]+\theta^2$

$E_{\theta}[(\delta(X)-\theta)^2]=E_{\theta}[\delta(X)^2]-2\theta E_{\theta}[\delta(X)]+\theta^2$

上二つの性質から
$E_{\theta}[(\delta_1(T)-\theta)^2]≦E_{\theta}[(\delta(X)-\theta)^2]$

フィッシャーネイマンの分解定理

負の二項分布

負の二項分布の確率質量関数 $f(x;p,r)$ は次のようになります。

$f(x;p,r)=\begin{eqnarray*} && {}_{r+x-1} C _x \\ \end{eqnarray*} p^r (1-p)^x$

$x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、同時分布は

$P(x_1,\cdots,x_n ;n,p,r) = \prod_{i=1}^n \{ \begin{eqnarray*} && {}_{r+x_i-1} C _{x_i} \\ \end{eqnarray*} p^r (1-p)^{x_i} \}$

$= \{ \prod_{i=1}^n \begin{eqnarray*} && {}_{r+x_i-1} C _{x_i} \\ \end{eqnarray*} \} p^{nr} (1-p)^{ \sum_{i=1}^n x_i }$

この時、 $T(X)=\sum_{i=1}^n x_i$ がパラメータ $p$ の十分統計量であることを示します。

フィッシャーネイマンの分解定理より、

$h(X)=\{\prod_{i=1}^n \begin{eqnarray*} && {}_{r+x_i-1} C _{x_i} \\ \end{eqnarray*} \}$

$g(T(X),p)=p^{nr}(1-p)^{T(X)}$

とみると、 $T(X)=\sum_{i=1}^n x_i$ がパラメータ $p$ の十分統計量であることがわかる。

ガンマ分布

ガンマ分布の確率密度関数 $f(x;\alpha,\beta)$ は次のようになります。

$f(x;\alpha,\beta)=\frac{\beta^{\alpha}}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}$

$x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、

$T_{\alpha}(X)=\prod_{i=1}^n x_i$ は $\alpha$ の十分統計量
$T_{\beta}(X)=\sum_{i=1}^n x_i$ は $\beta$ の十分統計量です。これを示します。

同時分布は

$P(x_1,\cdots,x_n ;\alpha,\beta)=\frac{\beta^{n\alpha}}{\Gamma(\alpha)^n} \{\prod_{i=1}^n x_i\}^{\alpha-1} e^{-\beta\sum_{i=1}^n x_i}$

よって、

$h_{\alpha}(X)=e^{-\beta\sum_{i=1}^n x_i}$

$g(T_{\alpha}(X),\alpha)=\frac{\beta^{n\alpha}}{\Gamma(\alpha)^n} \{T_{\alpha}(X)\}^{\alpha-1}$

とみると、フィッシャーネイマンの分解定理より、 $T_{\alpha}(X)=\prod_{i=1}^n x_i$ は $\alpha$ の十分統計量。

また、 $h_{\beta}(X)= \frac{1}{\Gamma(\alpha)^n} \{\prod_{i=1}^n x_i\}^{\alpha-1}$

$g(T_{\beta}(X),\beta)=\beta^{n\alpha} e^{-\beta T_{\beta}(X)}$

と見ると、フィッシャーネイマンの分解定理より、 $T_{\beta}(X)=\sum_{i=1}^n x_i$ は $\beta$ の十分統計量

一様分布

下限が0,上限が未知パラメータ $\theta$ であるときの一様分布を考えます。この時、密度関数は次のようになります。

$f(x;\theta)=\frac{1}{\theta}$ $(0≦x≦\theta)$

これは、見方を変えると次のように書くことも出来ます。

$f(x;\theta)=\frac{1_{\{0≦x≦\theta\}}}{\theta}$

ここで、 $x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、 $\theta$ の十分統計量は $max\{x_1,\cdots , x_n\}$ となります。

これを示します。

同時分布は次のようになるので

$P(x_1,\cdots x_n;n,\theta)=\frac{1_{\{max\{x_1,\cdots , x_n\}≦\theta\}}}{\theta^n}$

フィッシャーネイマンの分解定理より、 $\theta$ の十分統計量は $max\{x_1,\cdots , x_n\}$ であることは明らか。

リンク

統計検定1級対策問題集~十分統計量編１~ - バナナでもわかる話

2019-04-29

統計検定1級対策問題集~十分統計量編１~

統計検定対策問題統計検定統計学基礎統計

今回は十分統計量に関する問題をまとめていきます。少し量が多いので、2回に分けます。
目次

十分統計量とは
フィッシャーネイマンの分解定理
分解定理を使わない例

十分統計量とは

標本 $X$ とその分布のパラメータ $\theta$ を考えます。この時、次の等式が成り立つ統計量 $T(X)$ を十分統計量と呼びます。

$P(X=x|T(X)=t,\theta)=P(X=x|T(X)=t)$

これは、どう解釈すれば良いかというと、

「パラメータ $\theta$ の情報を $T(X)$ は十分に持っている」

と解釈出来ます。

等式を見ていただけるとわかるように $\theta$ があろうと無かろうと、 $X$ の分布には変化がありません。

フィッシャーネイマンの分解定理

$T(X)$ が $\theta$ の十分統計量であるとき、確率密度関数(確率質量関数)は次のように分解できる。

$f(x;\theta)=h(x)g(T(x),\theta)$

これをフィッシャーネイマンの分解定理(factorization theorem)と呼びます。

この定理の証明は間違いなく出題されませんので、省略します。
というのも、この分解定理の証明には測度論を利用します。これは、1級範囲を逸脱していますし、実際公式教科書でも、しれっと証明を省略しています。

この定理を利用して、ある $T(X)$ が十分統計量であることを証明します。

ベルヌーイ分布

ベルヌーイ分布の確率質量関数 $f(x;p)$ は次のようでした。

$f(x;n,p)=p^x(1-p)^{1-x}$

$x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、同時分布は

$P(x_1,\cdots,x_n ;n,p)=p^{\sum_{i=1}^n x_i}(1-p)^{n-\sum_{i=1}^n x_i}$

ですが、この時、 $T(X)=\sum_{i=1}^n x_i$ がパラメータ $p$ の十分統計量であることを示します。

$P(x_1,\cdots,x_n ;n,p)=\frac{p}{1-p}^{\sum_{i=1}^n x_i} (1-p)^n=(\frac{p}{1-p})^{T(X)} (1-p)^n$

この時 $h(x)=1,g(T(x),p)=(\frac{p}{1-p})^{T(X)} (1-p)^n$ と見ると、フィッシャーネイマンの分解定理から、 $T(X)=\sum_{i=1}^n x_i$ はパラメータ $p$ の十分統計量です。

ポアソン分布

ポアソン分布の確率質量関数 $f(x;p)$ は次のようでした。

$f(x;\lambda)=\frac{e^{-\lambda} \lambda^x}{x!}$

$x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、同時分布は

$P(x_1,\cdots,x_n ;n,\lambda)=\frac{e^{-n\lambda} \lambda^{\sum_{i=1}^n x_i}}{\prod_{i=1}^n x_i}$

ですが、この時、 $T(X)=\sum_{i=1}^n x_i$ がパラメータ $\lambda$ の十分統計量であることを示します。

$P(x_1,\cdots,x_n ;n,\lambda)=\frac{1}{\prod_{i=1}^n x_i} e^{-n\lambda} \lambda^{\sum_{i=1}^n x_i}=\frac{1}{\prod_{i=1}^n x_i} e^{-n\lambda} \lambda^{T(X)}$

$h(x)=\frac{1}{\prod_{i=1}^n x_i} ,g(T(x),\lambda)=e^{-n\lambda} \lambda^{T(X)}$ と見ると、フィッシャーネイマンの分解定理から $T(X)=\sum_{i=1}^n x_i$ はパラメータ $\lambda$ の十分統計量です。

正規分布

正規分布の確率密度関数 $f(x;\mu,\sigma)$ は次のようでした。

$f(x;\mu,\sigma)=\frac{1}{\sqrt{2 \pi \sigma^2}} exp(-\frac{(x-\mu)^2}{2\sigma^2})$

$x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、同時分布は

$P(x_1,\cdots,x_n ;n,\mu,\sigma) = (2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n (x_i-\mu)^2}{2\sigma^2})$

この時、 $T_{\mu}(X)=\sum_{i=1}^n x_i$ がパラメータ $\mu$ の十分統計量、 $(T_{\mu}(X),T_{\sigma}(X))=(\sum_{i=1}^n x_i,\sum_{i=1}^n x_i^2)$ がパラメータ $(\mu,\sigma)$ の十分統計量であることを示します。

$P(x_1,\cdots,x_n ;n,\mu,\sigma) = (2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n x_i^2-2\mu \sum_{i=1}^n x_i+n\mu^2}{2\sigma^2})$

まず、
$P(x_1,\cdots,x_n ;n,\mu,\sigma) =(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n x_i^2-2\mu T_{\mu}(X)+n\mu^2}{2\sigma^2})$
$=(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n x_i^2}{2\sigma^2}) exp(-\frac{-2\mu T_{\mu}(X)+n\mu^2}{2 \sigma^2})$

このように見ると、 $h(x)=(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n x_i^2}{2\sigma^2})$ であり、
$g(T_{\mu}(X),\mu)=exp(-\frac{-2\mu T_{\mu}(X)+n\mu^2}{2 \sigma^2})$ のため、フィッシャーネイマンの分解定理から、 $T_{\mu}(X)$ は $\mu$ に関する十分統計量です。

また、
$P(x_1,\cdots,x_n ;n,\mu,\sigma) =(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{T_{\sigma}(X)-2\mu T_{\mu}(X)+n\mu^2}{2\sigma^2})$

であるので、

$h(x)=1,g(T_{\sigma}(X),T_{\mu}(X),\mu,\sigma)=(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{T_{\sigma}(X)-2\mu T_{\mu}(X)+n\mu^2}{2\sigma^2})$ と見ると、 $(T_{\mu}(X),T_{\sigma}(X))=(\sum_{i=1}^n x_i,\sum_{i=1}^n x_i^2)$ はパラメータベクトル $(\mu,\sigma)$ の十分統計量ベクトルである。

分解定理を使わない例

当然、十分統計量かどうかは分解定理を使わずとも、定義から示すことも可能です。
ただ、計算がしんどいので、普通は分解定理で示します。

ベルヌーイ分布で考える場合、結構計算が簡単なのでこれで確認してみます。

ベルヌーイ分布の確率質量関数 $f(x;p)$ は次のようでした。

$f(x;n,p)=p^x(1-p)^{1-x}$

$x_1,\cdots,x_n$ のサンプルを独立同一に得たとすると、同時分布は

$P(x_1,\cdots,x_n ;n,p)=p^{\sum_{i=1}^n x_i}(1-p)^{n-\sum_{i=1}^n x_i}$

ですが、この時、 $T(X)=\sum_{i=1}^n x_i$ がパラメータ $p$ の十分統計量であることを示します。

$P(x_1,\cdots,x_n |n,p)=p^{\sum_{i=1}^n x_i}(1-p)^{n-\sum_{i=1}^n x_i}=p^{T(X)}(1-p)^{n-T(X)}$

ここで
$P(T(X)=t |n,p)=p^{t}(1-p)^{n-t} 1_{\{T(x)=t\}}$

$P(x_1,\cdots,x_n,T(X)=t |n,p)= \sum_{x:\{T(x)=t\}} P(x_1,\cdots,x_n |n,p)=\begin{eqnarray*} && {}_n C _t \\ \end{eqnarray*} p^{T(X)}(1-p)^{n-T(X)}$

以上より
$P(x_1,\cdots,x_n |n,p,T(X)=t)=\frac{P(T(X)=t |n,p)}{P(x_1,\cdots,x_n,T(X)=t |n,p)}=\frac{1}{\begin{eqnarray*} && {}_n C _t \\ \end{eqnarray*}} 1_{\{T(x)=t\}}=P(x_1,\cdots,x_n |n,T(X)=t)$

確かに示せました。

2019-04-24

統計検定1級対策問題集~ベータ分布編~

統計検定対策問題統計検定統計学基礎統計

統計検定1級対策のために役立ちそうな計算問題をまとめるやつやっていきます。
統計検定前の最終チェックや、統計検定の勉強何をすれば分からないという場合に活用ください。

今回はベータ分布関連。
ガンマ分布の時と同様、部分積分をループさせる計算がいっぱい出てきます。
ベータ分布は部分積分ゲーなので、手を動かして慣れるのが良いかと思います。

ベータ分布の特徴
- 正規化定数の計算
モーメント周りの計算
- 期待値の導出
  - 定義に従った計算
- 分散の導出
  - 定義に従った計算
ベータ分布の導出
ベータ分布と二項分布の関係
リンク
- 統計学を勉強するためのオススメ本
- 2017年数理1級の解説記事
その他の問題記事

ベータ分布の特徴

$f(x) =\frac{x^{\alpha-1} (1-x)^{\beta-1}}{B(\alpha,\beta)}$
ただし $B(\alpha,\beta)=\int_{0}^1 x^{\alpha-1} (1-x)^{\beta-1}dx$

・連続値の分布
・ $0＜x＜1$
・ $\alpha,\beta$ は正

非常にゴチャついていて、嫌になるかもしれませんが、よく見てください。
$B(\alpha,\beta)$ は単なる正規化定数(積分したらうまく1になるよう調整するための定数)に過ぎず、分布の本体は $x^{\alpha-1} (1-x)^{\beta-1}$ であることがわかります。そう思うと、とっつきにくさは多少和らぐのではないでしょうか。

正規化定数の計算

ベータ分布の期待値や分散の導出、その他様々な計算で、次の性質を利用します。

$B(\alpha,\beta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}$

$\Gamma()$ はガンマ関数です。ガンマ分布の記事で嫌というほど使いましたね笑

まず、この性質について確認します。

$B(\alpha,\beta)=\int_{0}^1 x^{\alpha-1} (1-x)^{\beta-1}dx$

$=\int_{0}^1 (\frac{1}{\alpha})^{'} (1-x)^{\beta-1} dx$

$=\int_{0}^1 \frac{\beta-1}{\alpha} x^{\alpha} (1-x)^{\beta-2}dx$

$=\int_{0}^1 \frac{(\beta-1)(\beta-2)}{\alpha(\alpha+1)} x^{\alpha+1}(1-x)^{\beta-3}dx$

$\cdots$

$=\int_{0}^1 \frac{ \Gamma(\beta) \Gamma(\alpha) }{ \Gamma(\alpha+\beta-1) } x^{\alpha+\beta-2} dx$

$=\frac{\Gamma(\beta) \Gamma(\alpha)}{\Gamma(\alpha+\beta)}$

モーメント周りの計算

積率母関数は、存在するのですが導出しません。
というのも、ベータ分布の積率母関数はウィキか何かで調べてもらえればわかる通り、複雑すぎて役に立ちません。
実際公式テキスト(2015年出版時点)でも、ベータ分布の積率母関数は一切触れられず、スルーされています。
まあ、なので導出する必要もないだろうというわけで省略します。

期待値の導出

定義に従った計算

定義に従って期待値を求めてみます。
$E[x]=\frac{1}{B(\alpha,\beta)}\int_{0}^1 x^{\alpha} (1-x)^{\beta-1}dx$

これも、さっき導出した $B(\alpha,\beta)$ の計算と同様の手順をひたすら繰り返すと、

$= \frac{1}{B(\alpha,\beta)} \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)} \frac{\alpha}{\alpha+\beta}$

$= \frac{\alpha}{\alpha+\beta}$

分散の導出

定義に従った計算

$Var[x]=E[x^2] -(E[x])^2$

$E[x^2] =\frac{1}{B(\alpha,\beta)}\int_{0}^1 x^{\alpha+1} (1-x)^{\beta-1}dx$

これも、次数がズレただけでさっきと同じ部分積分の繰り返しですね。打ち込むのが大変なので省略します笑
一回は出しておいた方が良いと思います。

計算してやると

$Var[x]=\frac{\alpha \beta}{(\alpha+\beta)^2 (\alpha+\beta+1)}$

になるはずです。

ベータ分布の導出

実は、ベータ分布は２つの独立なガンマ分布に従う確率変数を用いて導出出来ます。
$x_1 ～ Ga(\alpha_1,\beta)$
$x_2 ～ Ga(\alpha_2,\beta)$

について、
$X=\frac{x_1}{x_1+x_2}$

$Y=x_1+x_2$

と置きます。

この時、逆変換した際のヤコビアンは $Y$ なので

$f(X,Y) = Y \frac{\beta^{\alpha_1}}{\Gamma(\alpha_1)} (XY)^{\alpha_1-1}exp(-\beta (XY)) \frac{\beta^{\alpha_2}}{\Gamma(\alpha_2)} (Y(1-X))^{\alpha_2-1} exp(-\beta Y(1-X))$

$= \frac{\beta^{\alpha_1+\alpha_2}}{\Gamma(\alpha_1)\Gamma(\alpha_2)} X^{\alpha_1-1}(1-X)^{\alpha_2-1} Y^{\alpha_1+\alpha_2-1} exp(-\beta Y)$

$\frac{\beta^{\alpha_1+\alpha_2}}{\Gamma(\alpha_1+\alpha_2)} Y^{\alpha_1+\alpha_2-1} exp(-\beta Y) \frac{X^{\alpha_1-1}(1-X)^{\alpha_2-1}}{B(\alpha_1,\alpha_2)}$

はい、見事にガンマ分布の密度関数とベータ分布の密度関数の積に分解することが出来ました。あとはXに関して周辺分布を考えてやればよく、ガンマ分布の密度関数は全範囲で積分すると1になるので

Xはベータ分布に従います。

ちなみに、Yがガンマ分布に従うのは、ガンマ分布の再生性からある意味で自明ですね。

ベータ分布と二項分布の関係

ベータ分布の上側確率は二項分布の確率関数の和と解釈出来ます。

$\int_{p}^{1} \frac{x^{k-1} (1-x)^{n-k}}{B(k,n-k+1)}dx =\begin{eqnarray*} && {}_n C _{k-1} \\ \end{eqnarray*} p^{k-1} (1-p)^{n-k+1} + \int_{p}^{1} \frac{x^{k-2}(1-x)^{n-k+1}}{B(k-1,n-k+2)} dx$

$\cdots$

$=\sum_{z=0}^{k-1} \begin{eqnarray*} && {}_n C _{z} \\ \end{eqnarray*} p^z (1-p)^{n-z}$

リンク

統計学を勉強するためのオススメ本

www.bananarian.net

2017年数理1級の解説記事

www.bananarian.net

その他の問題記事

統計検定1級対策問題集~ガンマ分布編~

統計検定対策問題統計検定統計学基礎統計

今回はガンマ分布関連。
ガンマ関数の処理に慣れるまでは難しいかもしれません。

ガンマ分布の特徴
モーメント周りの計算
ガンマ分布の再生性について
ガンマ分布とポアソン分布の関係
リンク
- 統計学を勉強するためのオススメ本
- 2017年数理1級の解説記事
その他の問題記事