Goodな生活

経済学→環境コンサル→データサイエンティスト

【統計検定1級】代表的な確率分布

統計検定1級の学習メモ。代表的な確率分布について。

離散型確率分布

2項分布

ベルヌーイ試行とベルヌーイ分布

2項分布はベルヌーイ試行に基づく分布。ベルヌーイ試行は、確率pで「成功」、確率1-pで「失敗」する実験を指し、確率変数Xは「成功」のとき1、「失敗」のとき0をとる。確率関数は、


\begin{eqnarray}
P(X = x) &=& 
\left\{\begin{array}{l}
 p & if & x = 1\\
1-p & if & x =0 \\
\end{array} \tag{}
\right. \\
\end{eqnarray} 

より、

P(X = x) = p^{x}(1-p)^{1-x} \tag{}


確率変数Xがベルヌーイ分布に従うことを、X \sim Be(p)と表す。

ベルヌーイ分布の平均と分散は、


\begin{eqnarray}
E(X) &=& p・1 + (1-p)・0 \\
&=& p \tag{} \\
E(X^2) &=& p・1^2 + (1-p)・0 \\
&=& p \tag{}   \\
V(X) &=& E(X^2)  - (E(X))^2 \\
&=& p - p^2 \\
&=& p(1-p) \tag{} 
\end{eqnarray}

ベルヌーイ試行の一般化による2項分布の導出

確率pの独立なベルヌーイ試行をn回繰り返すとき、確率変数Xの総和Yは2項分布に従う。k=0,1,\cdots,nに対してk回「成功」、n-k回「失敗」となる確率P(Y = k)は、


\begin{eqnarray}
P(Y = k|n,p) &=& {}_n C_k \,p^k (1-p)^{n-k}  (k=0,1,2,\cdots,n) \tag{}
\end{eqnarray}
 

これを2項分布といい、確率変数Yが2項分布に従うことをY \sim Bin(n,p)と表す。

2項分布の平均は、先ほどの密度関数と2項定理を使います。


\begin{eqnarray}
E[Y] &=& \sum_{k=0}^{\infty} k  \,{}_n C_k p^k (1-p)^{n-k} \\
          &=& \sum_{k=0}^{\infty} k \frac{n!}{k!(n-k)!} ・p^k (1-p)^{n-k}\\
     &=& n・p \sum_{k=0}^{\infty} \frac{(n-1)!}{(k-1)!(n-k)!} p^k (1-p)^{n-k} \\
          &=& np \sum_{k=0}^{\infty} {}_{n-1} C_{k-1} p^k (1-p)^{n-k} \\
          &=& np (p + (1-p))^{n-1} \\
          &=& np \tag{}
\end{eqnarray}
 

同様に、


\begin{eqnarray}
E[Y(Y-1)] &=& \sum_{k=0}^{\infty} k(k-1)  {}_n C_k p^k (1-p)^{n-k} \\
          &=& \sum_{k=0}^{\infty} k(k-1) \frac{n!}{k!(n-k)!} ・p^k (1-p)^{n-k}\\
     &=& n・(n-1)・p^2 \sum_{k=0}^{\infty} \frac{(n-2)!}{(k-2)!(n-k)!} p^{k-2} (1-p)^{n-k} \\
          &=& n(n-1)p^2 \sum_{k=0}^{\infty} {}_{n-2} C_{k-2} p^{k-2} (1-p)^{n-k} \\
          &=& n(n-1)p^2 (p + (1-p))^{n-2} \\
          &=& n(n-1)p^2 \tag{}
\end{eqnarray}
 

したがって分散は、


\begin{eqnarray}
V [Y] &=& E[Y(Y-1)] + E[Y] - (E[Y])^2 \\
           &=& n(n-1)p^2 + np - n^2 p^2 \\
   &=& np(1-p) \tag{}
\end{eqnarray}
 

ベルヌーイ分布の平均と分散に、それぞれ試行回数のnを乗じた値となります。

最尤推定

確率変数X_1,X_2,\cdots, X_nが互いに独立に同一のベルヌーイ分布Be(p)に従うと仮定する。確率変数の実現値をx_1,x_2,\cdots,x_n \in\{0,1\}とする。

尤度関数は、


\begin{eqnarray}
L(x_1,x_2,\cdots,x_n|θ) &=& P(X_1 = x_1)\cdots P(X_n = x_n) \\
&=& p^{x_1}(1-p)^{1-x_1} p^{x_2}(1-p)^{1-x_2} \cdots  p^{x_n}(1-p)^{1-x_n} \\
&=& p^{x_1 + x_2 + \cdots + x_n} (1-p)^{n - (x_1 +x_2 + \cdots + x_n)} \tag{}
\end{eqnarray}

尤度関数の対数をとり、



\begin{eqnarray}
\log L(x_1,x_2,\cdots,x_n|θ) &=&  (x_1 + x_2 + \cdots + x_n) \log p + (n - (x_1 + x_2 + \cdots + x_n)) \log(1-p)  \tag{}
\end{eqnarray}

両辺をp微分してゼロとおくと、



\begin{eqnarray}
\frac{\partial}{\partial p} \log L &=& (x_1 + x_2 + \cdots + x_n)\frac{1}{\hat p} +  (n - (x_1 + x_2 + \cdots + x_n)) \frac{-1}{1- \hat p} \\ 
&=& 0 \tag{}
\end{eqnarray}

上式を満たす推定量は、


\begin{eqnarray}
\hat p = \frac{x_1 + x_2 + \cdots + x_n}{n} \tag{}
\end{eqnarray}


つまり最尤推定量は標本平均と等しくなる。

フィッシャー情報量

フィッシャー情報量を求める。


\begin{eqnarray}
\log P(X=x) &=& x \log p + (1-x) \log(1-p) \\
\frac{\partial}{\partial p} \log P(X=x) &=& \frac{x}{p} - \frac{1-x}{1-p} \\
&=& \frac{x-p}{p(1-p)} \tag{}
\end{eqnarray}

分散をとると


\begin{eqnarray}
V\left[\frac{\partial}{\partial p} \log P(X=x) \right] &=& V\left[\frac{X-p}{p(1-p)}\right] \\
                                                                                  &=& V\left[\frac{X-E[X]}{p(1-p)}\right] \\
                                                                                  &=& \frac{V[X]}{p^2(1-p)^2} \\
                                                                                  &=& \frac{p(1-p)}{p^2(1-p)^2} \\
                                                                                  &=& \frac{1}{p(1-p)} \tag{}
\end{eqnarray}

最尤推定量はUMVE

最尤推定量の分散は、


\begin{eqnarray}
V[\hat p] &=& V\left[\frac{x_1 + x_2 + \cdots + x_n}{n} \right] \\
                  &=& \frac{V[X_1]}{n} \\
                  &=& \frac{p(1-p)}{n} \\
                  &=& \frac{1}{I_n(p)} \tag{}
\end{eqnarray}


したがって\hat pはクラメールラオの不等式の下限を満たすため、


\begin{eqnarray}
\hat p = \frac{x_1 + x_2 + \cdots + x_n}{n} \tag{}
\end{eqnarray}

は有効推定量

幾何分布

「成功」確率がpのベルヌーイ試行を独立に行い、初めて「成功」するまでに要した「失敗」の回数をXとするとき、Xの分布が幾何分布となる。X=kとなる確率は、



\begin{eqnarray}
P(X = k|p) = p(1-p)^{k}  (k = 0,1,\cdots, )\tag{}
\end{eqnarray}


と書け、これを幾何分布と呼ぶ。
確率変数Xが幾何分布に従うことをX \sim Ge(p)と表現する。

幾何分布の平均と分散を導出するには、等比級数の和の公式を応用する。


\begin{eqnarray}
\sum_{i=0}^{\infty} x^k = \frac{1}{1-x} \tag{}
\end{eqnarray}

の両辺をx微分すると、


\begin{eqnarray}
\sum_{i=0}^{\infty} kx^{k-1} = \frac{1}{(1-x)^2} (|x| < 1) \tag{} 
\end{eqnarray}

さらに微分して、


\begin{eqnarray}
\sum_{i=0}^{\infty} k(k-1)x^{k-2} = \frac{2}{(1-x)^3} (|x| < 1) \tag{}
\end{eqnarray}

これらを利用して、


\begin{eqnarray}
E[X] &=& \sum_{i=0}^{\infty} k P(X=k) \\
&=&  \sum_{i=0}^{\infty} k p (1-p)^k \\
&=& p (1-p)  \sum_{i=0}^{\infty} k(1-p)^{k-1} \\
&=& p (1-p) \frac{1}{(1-(1-p))^2} \\
&=& \frac{1-p}{p} \tag{}
\end{eqnarray}


\begin{eqnarray}
E[X(X-1)] &=& \sum_{i=0}^{\infty} k(k-1) P(X=k) \\
&=&  \sum_{i=0}^{\infty} k(k-1) p (1-p)^k \\
&=& p (1-p)^2  \sum_{i=0}^{\infty} k(k-1)(1-p)^{k-2} \\
&=& p (1-p) \frac{2}{(1-(1-p))^3} \\
&=& \frac{2(1-p)^2}{p^2}  \tag{}
\end{eqnarray}



\begin{eqnarray}
V[X] &=& E[X(X-1)] + E[X] - (E[X])^2 \\
          &=& \frac{2(1-p)^2}{p^2} + \frac{1-p}{p} - \left(\frac{1-p}{p}\right)^2 
          &=& \frac{1-p}{p^2}  \tag{}
\end{eqnarray}

最尤推定

X_1,X_2,\cdots, X_n は独立にGe(p)に従うとする。

尤度関数を


\begin{eqnarray}
L &=& P(X_1 = x_1)P(X_2 = x_2) \cdots P(X_n = x_n) \\
   &=& p(1-p)^{x1}p(1-p)^{x2} \cdots p(1-p)^{xn} \\
   &=& p^n (1-p)^{x1 + x2 + \cdots + xn}  \tag{}
\end{eqnarray}

対数をとると、


\begin{eqnarray}
\log L &=& n \log p + (x_1 + x_2 + \cdots + x_n) \log (1-p)   \tag{}
\end{eqnarray}

両辺をp微分して0とおくと、


\begin{eqnarray}
\frac{\partial }{\partial p} \log L &=& n・\frac{1}{p} + (x_1 + x_2 + \cdots + x_n)・ \frac{1}{1-p} \\
   &=& 0  \tag{}
\end{eqnarray}

上式を満たす推定量は、


\begin{eqnarray}
\hat p &=& \frac{n}{n + x_1 + x_2 + \cdots + x_n} \\
          &=& \frac{1}{1+ \bar x}  \tag{}
\end{eqnarray}

ちなみに上式は不偏推定量ではない。
不偏推定量は、


\begin{eqnarray}
\tilde p &=& \frac{(n-1)}{(n-1) + x_1 + x_2 + \cdots + x_n} \\
E[\tilde p ] = p   \tag{}
\end{eqnarray}

証明には負の2項展開を用いる。

ポアソン分布

確率変数Xポアソン分布に従うとは、X \sim Po(λ)と表現する。

\begin{eqnarray}
P(X = k) = \frac{λ^k}{k!} e^{-λ} (k=0,1,2,\cdots) \tag{1}
\end{eqnarray}


\begin{eqnarray}
E[X] &=& \sum_{k=0}^{\infty} k P(X = k) \\
          &=& \sum_{k=1}^{\infty} k \frac{λ^k}{k!} e^{-λ} \\
          &=& \sum_{k=1}^{\infty} \frac{λ^k}{(k-1)!} e^{-λ} \\
          &=& e^{-λ}  \sum_{l=0}^{\infty} \frac{λ^l}{l!} λ \\
          &=& e^{-λ} λ e^{λ} \\
          &=& λ \tag{2}
\end{eqnarray}


\begin{eqnarray}
E[X(X-1)] &=& \sum_{k=0}^{\infty} k(k-1) P(X = k) \\
                  &=& \sum_{k=2}^{\infty} k(k-1) \frac{λ^k}{k!} e^{-λ} \\
                  &=& \sum_{k=2}^{\infty} \frac{λ^k}{(k-2)!} e^{-λ} \\
                  &=& e^{-λ}  \sum_{l=0}^{\infty} \frac{λ^{l+2}}{l!} λ \\
                  &=& e^{-λ} λ^2 e^{λ} \\
                  &=& λ^2 \tag{3}
\end{eqnarray}


\begin{eqnarray}
V[X] &=& E[X(X-1)] + E[X] - (E[X])^2 \\
          &=& λ^2 + λ - λ^2 \\
          &=& λ \tag{4}
\end{eqnarray}

ポアソン少数の法則


\begin{eqnarray}
\lim_{n \to \infty} P(X_n = k) &=&P(X = k) \\
&=& \frac{λ^k}{k!}\mathrm{e}^{-λ}  (k=0,1,2,\cdots) \tag{5}
\end{eqnarray}

証明は以下の通り。


\begin{eqnarray}
P(X_n = k)  &=& {}_n\mathrm{C}_k \left(\frac{λ}{n}\right)^k \left(1 - \frac{λ}{n}\right)^{n-k}  \\
                  &=& \frac{n!}{k!(n-k)!} \left(\frac{λ}{n}\right)^k \left(1 - \frac{λ}{n}\right)^{n-k} \\
&=& \frac{n}{n} \cdot \frac{n-1}{n} \cdots \frac{n-k+1}{n} \cdot \frac{1}{k!} λ^k \left(1 - \frac{λ}{n}\right)^{n-k} \tag{7}
\end{eqnarray}

ここで指数関数の性質を使い、

\begin{eqnarray}
\lim_{n \to \infty} \left(1 - \frac{λ}{n}\right)^{n} &=& \lim_{h \to \infty} (1 + h)^{-\frac{λ}{h}} \\
&=& \left( \lim_{h \to \infty} (1 + h)^{\frac{1}{h}} \right)^{-λ} \\
&=& e^{-λ} \tag{7}
\end{eqnarray}


\begin{eqnarray}
\lim_{n \to \infty} P(X_n = k) = \frac{λ^k}{k!}\mathrm{e}^{-λ}  (k=0,1,2,\cdots) \tag{8}
\end{eqnarray}

最尤推定

X_1,X_2,\cdots,X_nはそれぞれ独立にPo(λ)に従うとする。

尤度関数は、


\begin{eqnarray}
L &=& P(X_1 = x_1)P(X_2 = x_2)\cdots P(X_n = x_n) \\
   &=&  \frac{λ^{x_1}}{x_{1}!} e^{-λ} \cdots  \frac{λ^k}{x_{n}!} e^{-λ} \\
   &=& C + (x_1 + x_2 + \cdots + x_n)  e^{-nλ} \tag{9}
\end{eqnarray}

対数をとってゼロとおくと、


\begin{eqnarray}
\log L &=&  C + (x_1 + x_2 + \cdots + x_n) \log λ -nλ \\
\frac{\partial}{\partial λ} \log L &=& \frac{x_1 + x_2 + \cdots + x_n}{λ} -n  \\
                                                &=& 0 \tag{10}
\end{eqnarray}

(10)を満たすλは、


\begin{eqnarray}
\hat λ &=& \frac{x_1 + x_2 + \cdots + x_n}{n}  \\
          &=&  \bar x    \tag{11}
\end{eqnarray}

標本平均と一致する。

フィッシャー情報量は、


\begin{eqnarray}
\frac{\partial}{\partial λ} \log P(X_1 = x_1) &=& \frac{x_1}{λ} -1  \tag{12}
\end{eqnarray}

なので、


\begin{eqnarray}
I_1(λ) &=& V\left( \frac{X}{λ} -1 \right) \\
          &=& \frac{1}{λ^2} V(X) \\
          &=& \frac{1}{λ} \tag{13}
\end{eqnarray}


\begin{eqnarray}
V[\bar x] &=& \frac{λ}{n} \\
               &=& \frac{1}{nλ} \\
                 &=& \frac{1}{I_n(λ)} \tag{14}
\end{eqnarray}

となり最尤推定\hat λ = \bar Xは有効推定量である。

連続型確率分布

指数分布

平均と分散

確率変数Xが指数分布Exp(λ)に従うとき、確率密度関数は、


\begin{eqnarray}
f_{X}(x) &=& λ e^{-λx}  (x > 0) \tag{}
 \end{eqnarray}

このとき


\begin{eqnarray}
E[X] &=& \int_{0}^{\infty} x λ e^{-λx}dx \\
          &=& \int_{0}^{\infty} u e^{-u} \frac{du}{λ} \\
          &=& \frac{\Gamma(2)}{λ} \\
          &=& \frac{1}{λ} \tag{}
 \end{eqnarray}

ただし


\begin{eqnarray}
\Gamma(s) &=&  \int_{0}^{\infty} x^{s-1} e^{-x} dx  (s > 0) \\
\Gamma(1) &=& 1 \\
\Gamma(s+1) &=& s \Gamma(s) \tag{}
 \end{eqnarray}


\begin{eqnarray}
E[X^2] &=& \int_{0}^{\infty} x^2 λ e^{-λx}dx \\
          &=& \int_{0}^{\infty} (\frac{u}{λ})^2 e^{-u} \frac{du}{λ} \\
          &=& \frac{\Gamma(3)}{λ^2} \\
          &=& \frac{2}{λ^2} \tag{}
 \end{eqnarray}

よって分散は、


\begin{eqnarray}
V[X] &=& E[X^2] - (E[X])^2 \\
          &=& \frac{2}{λ^2} - \left(\frac{1}{λ}\right)^2 \\
          &=& \frac{1}{λ^2} \tag{}
 \end{eqnarray}

最尤推定

X_1,X_2,\cdots ,X_nがそれぞれ独立にExp(λ)に従うとする。

尤度関数は


\begin{eqnarray}
L &=& f_{X_1}(x_1)f_{X_2}(x_2) \cdots f_{X_n}(x_n) \\
   &=& λ e^{-λ x_1} λ e^{-λ x_2} \cdots λ e^{-λ x_n} \\
   &=& λ^n e^{-λ(x_1 + x_2 + \cdots +x_n)} \tag{1}
 \end{eqnarray}

対数を取ると


\begin{eqnarray}
\log L &=& n \log λ -λ(x_1 + x_2 + \cdots +x_n) \tag{2}
 \end{eqnarray}

λで両辺を微分してゼロとおくと、


\begin{eqnarray}
\frac{\partial}{\partial λ} \log L &=& n ・\frac{1}{λ} - (x_1 + x_2 + \cdots +x_n) \\
                                                 &=& 0 \tag{3}
 \end{eqnarray}

最尤推定量は、


\begin{eqnarray}
\hat λ &=& \frac{n}{x_1 + x_2 + \cdots +x_n} \\
          &=&  \frac{n}{\bar x} \tag{4}
 \end{eqnarray}

ただしこれは不偏推定量ではない。

ガンマ分布

指数分布とガンマ分布


\begin{eqnarray}
f_X (x) &=& \frac{λ^α}{\Gamma(α)} x^{α-1}・e^{-λx}  (x > 0)  \tag{}
\end{eqnarray}

α = 1のとき指数分布の分布関数となる。

平均と分散


\begin{eqnarray}
E[X] &=& \int_{0}^{\infty} x・\frac{λ^α}{\Gamma(α)} x^{α-1} ・e^{-λx} \\
          &=&  \frac{λ^α}{\Gamma(α)}  \int_{0}^{\infty} x^{α}・e^{-λx}  \\
          &=&  \frac{λ^α}{\Gamma(α)}  \int_{0}^{\infty} \left(\frac{u}{λ} \right)^α e^{-λ} \frac{du}{λ} \\
          &=&  \frac{λ^α}{\Gamma(α)}  \int_{0}^{\infty} \frac{u^α ・e^{-u}}{λ^{α+1}} du \\
          &=&  \frac{λ^α}{\Gamma(α)} \frac{\Gamma(α+1)}{λ^{α+1}} \\
          &=& \frac{1}{λ} \frac{\Gamma(α+1)}{\Gamma(α)} \\
         &=& \frac{α}{λ}  \tag{}
\end{eqnarray}


\begin{eqnarray}
E[X^2] &=& \int_{0}^{\infty} x^2・\frac{λ^α}{\Gamma(α)} x^{α-1} ・e^{-λx} \\
          &=&  \frac{λ^α}{\Gamma(α)}  \int_{0}^{\infty} x^{α+1}・e^{-λx}  \\
          &=&  \frac{λ^α}{\Gamma(α)}  \int_{0}^{\infty} \left(\frac{u}{λ} \right)^{α+1} e^{-u} \frac{du}{λ} \\
          &=&  \frac{λ^α}{\Gamma(α)}  \int_{0}^{\infty} \frac{u^{α+1} ・e^{-u}}{λ^{α+2}} du \\
          &=&  \frac{λ^α}{\Gamma(α)} \frac{\Gamma(α+1)}{λ^{α+1}} \\
          &=& \frac{1}{λ^2} \frac{α\Gamma(α+1)}{\Gamma(α)} \\
         &=& \frac{α(α+1)}{λ^2}  \tag{}
\end{eqnarray}

したがって分散は、



\begin{eqnarray}
V[X] &=& E[X^2] - (E[X])^2 \\
          &=& \frac{α^2 + α}{λ}  - \left(\frac{α}{λ} \right) \\
          &=& \frac{α^2}{λ^2} + \frac{α}{λ^2} - \frac{α}{λ^2}  \\
         &=& \frac{α}{λ^2} \tag{}
\end{eqnarray}

参考文献

弱点克服 大学生の確率・統計

弱点克服 大学生の確率・統計

確率と統計 (現代基礎数学)

確率と統計 (現代基礎数学)