【初心者向け】2017年統計検定1級数理問2の解説

前回は問1の解説を行いましたが、次は問2をやっていきます。
bananarian.hatenablog.com

2017年　統計検定1級　統計数理　問2　対策用解説を始めていきます。

問2の概要

まず、問2のセットアップから確認します。
f:id:bananarian:20180916102856p:plain

要は一様分布ですね。

なんだ、一様分布なら簡単そうじゃないか！！と思いきや、意外と詰まった受験生もいらっしゃったのではないかなあと思います。

意外と盲点になるところですが、一様分布の同時分布における最尤推定量って思考停止でやろうとすると、おかしなことになるんですね。

問2[1]

f:id:bananarian:20180916103243p:plain

これ、詰まった人いるんじゃないですかねえ。どうでしょうか。
一様分布のパラメータにおける最尤推定量に関する問題ですね。

色々考え方はありますが、今回はKKT条件を使って解いてみようかと思います。
KKT条件については前に書いた下の記事の真ん中あたりにあるので参考にしてみてください。
bananarian.hatenablog.com

まず、計画問題を考えることにします。今回は、独立に一様分布に従っていることから同時分布は次のようになります。

$\frac{1}{\theta^n}$

しかし、ここで一つ問題があって、得られた全ての $X_i$ は $0より大きくて、\theta以下$ でなければならないという制約が発生します。そこで次のように考えます。

$X_1≦\theta$
$X_2≦\theta$
...
$X_n≦\theta$

ということは結局、 $X_{max}≦\theta$ だということ！！

つまり、制約として $X_{max}≦\theta$ が存在します。

以上より計画問題は次のようになります。

目的　 $\frac{1}{\theta^n}$ 　を最大化する
制約　 $X_{max}≦\theta$

別にこの作業はしてもしなくてもどっちでもいいんですが、目的の見方を変えると、

$\theta^n$ 　を最小化する

と見ることもできますね。

ここまで来たらもう難しくありません。ラグランジュ乗数 $\lambda≧0$ を用意してやり、次のようなラグランジュ関数 $L$ を考えます。

$L(\theta,\lambda)=\theta^n-\lambda (\theta-X_{max})$

このラグランジュ関数は、KKT条件より、次の制約を満たす必要があります。

$\frac{\partial L(\theta,\lambda)}{\partial \theta}=0$ …①
$\frac{\partial L(\theta,\lambda)}{\partial \lambda}≦0$ …②
$\lambda (\theta-X_{max})=0⇔(\lambda=0) or (\theta=X_{max})$ …③

まず、②についてですが、
②⇔ $X_{max}≦\theta$
ですね。

更に①は
①⇔ $\lambda=n\theta^{n-1}$

であり、 $0<\theta$ であることに注意すると、 $\lambda>0$ ですね。

$\lambda>0$ であることがわかったので、これを考慮した上で③をみてやると、

$(\lambda=0)$ は成り立ちませんよね。よって $(\theta=X_{max})$ です。

つまり $\theta$ の最尤推定量 $\hat{\theta}$ は

$\hat{\theta}=X_{max}$

となります。

問2[2]

[2]いきます。
f:id:bananarian:20180916142111p:plain

まず、 $X$ の期待値を出せないとお話にならないので出してみましょう。
$E[X]=\int_0^{\theta}\frac{X}{\theta}dX=\frac{1}{\theta}[\frac{X^2}{2}]_0^{\theta}=\frac{\theta}{2}$

$E[\theta']=E[2\bar{X}]=\frac{2}{n}\sum_{i=1}^{n}E[X]=\theta$

不偏推定量であることが確認できました。

問2[3]

f:id:bananarian:20180916142213p:plain

順序統計量に関する密度関数の問題です。

$X_{max}$ は要はこういう状況ですよね。
$(X_1≦X_{max})\&(X_2≦X_{max})\&....\&....\&(X_n≦X_{max})$

つまり $X$ の分布関数を $F(x)$ とおくこととすると、
$X_{max}$ の分布関数 $G(x)$ は次のようになりますね。

$G(x)=Prob(X_1≦X_{max})Prob(X_2≦X_{max})....Prob(X_n≦X_{max})={F(x)}^n$

これを微分してやれば密度関数が出てきますね。ただその前に $F(x)$ を求めておきましょう。

$F(x)=\int_0^x \frac{1}{\theta} dX=\frac{x}{\theta}$

$G(x)=(\frac{x}{\theta})^n$

$(密度関数)=f_{max}(x)=\frac{\partial G(x)}{\partial x}=\frac{n}{\theta}(\frac{x}{\theta})^{n-1}$

次に $X_{max}$ の期待値を求めてみます。

$E[X_{max}]=\int_0^{\theta}x f_{max}(x)dx=\int_0^{\theta} \frac{nx}{\theta}(\frac{x}{\theta})^{n-1} dx=\frac{n}{\theta^n}\int_0^{\theta}x^ndx=\frac{n \theta}{n+1}$

以上より、 $E[\theta'']=\theta$

問2[4]

f:id:bananarian:20180916142612p:plain

最後ですね。[2]と[3]で2種類の $\theta$ に関する不偏推定量を導きました。
しかし、その中でもより分散の小さい推定量、つまり有効推定量であることが重要でした。

分散ですが、普通に分散の定義に従っても良いのですが、ちょっと面倒なので次の公式を利用します。導出は容易なので省略します。

$V[X]=E[X^2]-(E[X])^2$

つまり、 $E[X^2]$ と $E[X_{max}^2]を導出すればよいということになります。 [tex: E[X^2]=\int_0^{\theta}\frac{X^2}{\theta}dX=\frac{\theta^2}{3}$

$E[X_{max}^2]=\int_0^{\theta} \frac{nx^{n+1}}{\theta^n}dx=\frac{n}{\theta^n}\int_0^{\theta}x^{n+1}dx=\frac{n\theta^2}{n+2}$

よって、分散は

$V[X]=\frac{\theta^2}{3}-\frac{\theta^2}{4}=\frac{\theta^2}{12}$
$V[X_{max}]=\frac{n\theta^2}{n+2}-\frac{n^2 \theta^2}{(n+1)^2}=\frac{n\theta^2}{(n+2)(n+1)^2}$

更に各推定量の分散は次のようになりますね。

$V[\theta']=\frac{4}{n} \frac{\theta^2}{12}=\frac{\theta^2}{3n}$
$V[\theta'']=\frac{(n+1)^2}{n^2} \frac{n\theta^2}{(n+2)(n+1)^2} =\frac{\theta^2}{n(n+2)}$

$n$ をどんどん大きくしていった時に、 $\theta''$ の分散の方が早く0になるのはわかりますか？
更にもう少し考えてみると
$V[\theta']-V[\theta'']=\frac{\theta^2}{3n}-\frac{\theta^2}{n(n+2)}=\frac{n(n+2)\theta^2-3\theta^2}{3n(n+2)}=\frac{(n+3)(n-1)\theta^2}{3n(n+2)}$