【統計検定1級】代表的な確率分布

統計検定１級の学習メモ。代表的な確率分布について。

離散型確率分布
連続型確率分布
- 指数分布
  - 平均と分散
  - 最尤推定量
- ガンマ分布
  - 指数分布とガンマ分布
  - 平均と分散
参考文献

離散型確率分布

2項分布

ベルヌーイ試行とベルヌーイ分布

2項分布はベルヌーイ試行に基づく分布。ベルヌーイ試行は、確率 $p$ で「成功」、確率 $1-p$ で「失敗」する実験を指し、確率変数 $X$ は「成功」のとき1、「失敗」のとき0をとる。確率関数は、

$\begin{eqnarray} P(X = x) &=& \left\{\begin{array}{l} 　p & if & x = 1\\ 1-p & if & x =0 \\ \end{array}　\tag{} \right. \\ \end{eqnarray}$ 　

より、

$P(X = x) = p^{x}(1-p)^{1-x} \tag{}$

確率変数 $X$ がベルヌーイ分布に従うことを、 $X \sim Be(p)$ と表す。

ベルヌーイ分布の平均と分散は、

$\begin{eqnarray} E(X) &=& p・1 + (1-p)・0 \\ &=& p \tag{} \\ E(X^2) &=& p・1^2 + (1-p)・0 \\ &=& p \tag{} \\ V(X) &=& E(X^2) - (E(X))^2 \\ &=& p - p^2 \\ &=& p(1-p) \tag{} \end{eqnarray}$

ベルヌーイ試行の一般化による2項分布の導出

確率 $p$ の独立なベルヌーイ試行を $n$ 回繰り返すとき、確率変数 $X$ の総和 $Y$ は2項分布に従う。 $k=0,1,\cdots,n$ に対して $k$ 回「成功」、 $n-k$ 回「失敗」となる確率 $P(Y = k)$ は、

$\begin{eqnarray} P(Y = k|n,p) &=& {}_n C_k \,p^k (1-p)^{n-k} (k=0,1,2,\cdots,n) \tag{} \end{eqnarray}$ 　

これを2項分布といい、確率変数 $Y$ が2項分布に従うことを $Y \sim Bin(n,p)$ と表す。

2項分布の平均は、先ほどの密度関数と2項定理を使います。

$\begin{eqnarray} E[Y] &=& \sum_{k=0}^{\infty} k \,{}_n C_k p^k (1-p)^{n-k} \\ &=& \sum_{k=0}^{\infty} k \frac{n!}{k!(n-k)!} ・p^k (1-p)^{n-k}\\ 　　 &=& n・p \sum_{k=0}^{\infty} \frac{(n-1)!}{(k-1)!(n-k)!} p^k (1-p)^{n-k} \\ &=& np \sum_{k=0}^{\infty} {}_{n-1} C_{k-1} p^k (1-p)^{n-k} \\ &=& np (p + (1-p))^{n-1} \\ &=& np \tag{} \end{eqnarray}$ 　

同様に、

$\begin{eqnarray} E[Y(Y-1)] &=& \sum_{k=0}^{\infty} k(k-1) {}_n C_k p^k (1-p)^{n-k} \\ &=& \sum_{k=0}^{\infty} k(k-1) \frac{n!}{k!(n-k)!} ・p^k (1-p)^{n-k}\\ 　　 &=& n・(n-1)・p^2 \sum_{k=0}^{\infty} \frac{(n-2)!}{(k-2)!(n-k)!} p^{k-2} (1-p)^{n-k} \\ &=& n(n-1)p^2 \sum_{k=0}^{\infty} {}_{n-2} C_{k-2} p^{k-2} (1-p)^{n-k} \\ &=& n(n-1)p^2 (p + (1-p))^{n-2} \\ &=& n(n-1)p^2 \tag{} \end{eqnarray}$ 　

したがって分散は、

$\begin{eqnarray} V [Y] &=& E[Y(Y-1)] + E[Y] - (E[Y])^2 \\ &=& n(n-1)p^2 + np - n^2 p^2 \\ 　　　&=& np(1-p) \tag{} \end{eqnarray}$ 　

ベルヌーイ分布の平均と分散に、それぞれ試行回数の $n$ を乗じた値となります。

最尤推定量

確率変数 $X_1,X_2,\cdots, X_n$ が互いに独立に同一のベルヌーイ分布 $Be(p)$ に従うと仮定する。確率変数の実現値を $x_1,x_2,\cdots,x_n \in\{0,1\}$ とする。

尤度関数は、

$\begin{eqnarray} L(x_1,x_2,\cdots,x_n|θ) &=& P(X_1 = x_1)\cdots P(X_n = x_n) \\ &=& p^{x_1}(1-p)^{1-x_1} p^{x_2}(1-p)^{1-x_2} \cdots p^{x_n}(1-p)^{1-x_n} \\ &=& p^{x_1 + x_2 + \cdots + x_n} (1-p)^{n - (x_1 +x_2 + \cdots + x_n)} \tag{} \end{eqnarray}$

尤度関数の対数をとり、

$\begin{eqnarray} \log L(x_1,x_2,\cdots,x_n|θ) &=& (x_1 + x_2 + \cdots + x_n) \log p + (n - (x_1 + x_2 + \cdots + x_n)) \log(1-p) \tag{} \end{eqnarray}$

両辺を $p$ で微分してゼロとおくと、

$\begin{eqnarray} \frac{\partial}{\partial p} \log L &=& (x_1 + x_2 + \cdots + x_n)\frac{1}{\hat p} + (n - (x_1 + x_2 + \cdots + x_n)) \frac{-1}{1- \hat p} \\ &=& 0 \tag{} \end{eqnarray}$

上式を満たす推定量は、

$\begin{eqnarray} \hat p = \frac{x_1 + x_2 + \cdots + x_n}{n} \tag{} \end{eqnarray}$

つまり最尤推定量は標本平均と等しくなる。

フィッシャー情報量

フィッシャー情報量を求める。

$\begin{eqnarray} \log P(X=x) &=& x \log p + (1-x) \log(1-p) \\ \frac{\partial}{\partial p} \log P(X=x) &=& \frac{x}{p} - \frac{1-x}{1-p} \\ &=& \frac{x-p}{p(1-p)} \tag{} \end{eqnarray}$

分散をとると

$\begin{eqnarray} V\left[\frac{\partial}{\partial p} \log P(X=x) \right] &=& V\left[\frac{X-p}{p(1-p)}\right] \\ &=& V\left[\frac{X-E[X]}{p(1-p)}\right] \\ &=& \frac{V[X]}{p^2(1-p)^2} \\ &=& \frac{p(1-p)}{p^2(1-p)^2} \\ &=& \frac{1}{p(1-p)} \tag{} \end{eqnarray}$

最尤推定量はUMVE

最尤推定量の分散は、

$\begin{eqnarray} V[\hat p] &=& V\left[\frac{x_1 + x_2 + \cdots + x_n}{n} \right] \\ &=& \frac{V[X_1]}{n} \\ &=& \frac{p(1-p)}{n} \\ &=& \frac{1}{I_n(p)}　\tag{} \end{eqnarray}$

したがって $\hat p$ はクラメールラオの不等式の下限を満たすため、

$\begin{eqnarray} \hat p = \frac{x_1 + x_2 + \cdots + x_n}{n} \tag{} \end{eqnarray}$

は有効推定量。

幾何分布

「成功」確率が $p$ のベルヌーイ試行を独立に行い、初めて「成功」するまでに要した「失敗」の回数を $X$ とするとき、 $X$ の分布が幾何分布となる。 $X=k$ となる確率は、

$\begin{eqnarray} P(X = k|p) = p(1-p)^{k} (k = 0,1,\cdots, )\tag{} \end{eqnarray}$

と書け、これを幾何分布と呼ぶ。
確率変数 $X$ が幾何分布に従うことを $X \sim Ge(p)$ と表現する。

幾何分布の平均と分散を導出するには、等比級数の和の公式を応用する。

$\begin{eqnarray} \sum_{i=0}^{\infty} x^k = \frac{1}{1-x} \tag{} \end{eqnarray}$

の両辺を $x$ で微分すると、

$\begin{eqnarray} \sum_{i=0}^{\infty} kx^{k-1} = \frac{1}{(1-x)^2} (|x| < 1) \tag{} \end{eqnarray}$

さらに微分して、

$\begin{eqnarray} \sum_{i=0}^{\infty} k(k-1)x^{k-2} = \frac{2}{(1-x)^3} (|x| < 1) \tag{} \end{eqnarray}$

これらを利用して、

$\begin{eqnarray} E[X] &=& \sum_{i=0}^{\infty} k P(X=k) \\ &=& \sum_{i=0}^{\infty} k p (1-p)^k \\ &=& p (1-p) \sum_{i=0}^{\infty} k(1-p)^{k-1} \\ &=& p (1-p) \frac{1}{(1-(1-p))^2} \\ &=& \frac{1-p}{p} \tag{} \end{eqnarray}$

$\begin{eqnarray} E[X(X-1)] &=& \sum_{i=0}^{\infty} k(k-1) P(X=k) \\ &=& \sum_{i=0}^{\infty} k(k-1) p (1-p)^k \\ &=& p (1-p)^2 \sum_{i=0}^{\infty} k(k-1)(1-p)^{k-2} \\ &=& p (1-p) \frac{2}{(1-(1-p))^3} \\ &=& \frac{2(1-p)^2}{p^2} \tag{} \end{eqnarray}$

$\begin{eqnarray} V[X] &=& E[X(X-1)] + E[X] - (E[X])^2 \\ &=& \frac{2(1-p)^2}{p^2} + \frac{1-p}{p} - \left(\frac{1-p}{p}\right)^2 &=& \frac{1-p}{p^2} \tag{} \end{eqnarray}$

最尤推定量

$X_1,X_2,\cdots, X_n$ は独立に $Ge(p)$ に従うとする。

尤度関数を

$\begin{eqnarray} L &=& P(X_1 = x_1)P(X_2 = x_2) \cdots P(X_n = x_n) \\ &=& p(1-p)^{x1}p(1-p)^{x2} \cdots p(1-p)^{xn} \\ &=& p^n (1-p)^{x1 + x2 + \cdots + xn} \tag{} \end{eqnarray}$

対数をとると、

$\begin{eqnarray} \log L &=& n \log p + (x_1 + x_2 + \cdots + x_n) \log (1-p) \tag{} \end{eqnarray}$

両辺を $p$ で微分して0とおくと、

$\begin{eqnarray} \frac{\partial }{\partial p} \log L &=& n・\frac{1}{p} + (x_1 + x_2 + \cdots + x_n)・ \frac{1}{1-p} \\ 　　　&=&　0 \tag{} \end{eqnarray}$

上式を満たす推定量は、

$\begin{eqnarray} \hat p &=& \frac{n}{n + x_1 + x_2 + \cdots + x_n} \\ &=& \frac{1}{1+ \bar x} \tag{} \end{eqnarray}$

ちなみに上式は不偏推定量ではない。
不偏推定量は、

$\begin{eqnarray} \tilde p &=& \frac{(n-1)}{(n-1) + x_1 + x_2 + \cdots + x_n} \\ E[\tilde p ] = p \tag{} \end{eqnarray}$

証明には負の2項展開を用いる。

ポアソン分布

確率変数 $X$ がポアソン分布に従うとは、 $X \sim Po(λ)$ と表現する。
$\begin{eqnarray} P(X = k) = \frac{λ^k}{k!} e^{-λ}　(k=0,1,2,\cdots) \tag{1} \end{eqnarray}$

$\begin{eqnarray} E[X] &=& \sum_{k=0}^{\infty} k P(X = k) \\ &=& \sum_{k=1}^{\infty} k \frac{λ^k}{k!} e^{-λ} \\ &=& \sum_{k=1}^{\infty} \frac{λ^k}{(k-1)!} e^{-λ} \\ &=& e^{-λ} \sum_{l=0}^{\infty} \frac{λ^l}{l!} λ \\ &=& e^{-λ} λ e^{λ} \\ &=& λ \tag{2} \end{eqnarray}$

$\begin{eqnarray} E[X(X-1)] &=& \sum_{k=0}^{\infty} k(k-1) P(X = k) \\ &=& \sum_{k=2}^{\infty} k(k-1) \frac{λ^k}{k!} e^{-λ} \\ &=& \sum_{k=2}^{\infty} \frac{λ^k}{(k-2)!} e^{-λ} \\ &=& e^{-λ} \sum_{l=0}^{\infty} \frac{λ^{l+2}}{l!} λ \\ &=& e^{-λ} λ^2 e^{λ} \\ &=& λ^2 \tag{3} \end{eqnarray}$

$\begin{eqnarray} V[X] &=& E[X(X-1)] + E[X] - (E[X])^2 \\ &=& λ^2 + λ - λ^2 \\ &=& λ \tag{4} \end{eqnarray}$

ポアソン少数の法則

$\begin{eqnarray} \lim_{n \to \infty} P(X_n = k) &=&P(X = k) \\ &=& \frac{λ^k}{k!}\mathrm{e}^{-λ}　 (k=0,1,2,\cdots) \tag{5} \end{eqnarray}$

証明は以下の通り。

$\begin{eqnarray} P(X_n = k) &=& {}_n\mathrm{C}_k \left(\frac{λ}{n}\right)^k \left(1 - \frac{λ}{n}\right)^{n-k} \\ &=& \frac{n!}{k!(n-k)!} \left(\frac{λ}{n}\right)^k \left(1 - \frac{λ}{n}\right)^{n-k} \\ &=& \frac{n}{n} \cdot \frac{n-1}{n} \cdots \frac{n-k+1}{n} \cdot \frac{1}{k!} λ^k \left(1 - \frac{λ}{n}\right)^{n-k} \tag{7} \end{eqnarray}$

ここで指数関数の性質を使い、
$\begin{eqnarray} \lim_{n \to \infty} \left(1 - \frac{λ}{n}\right)^{n} &=& \lim_{h \to \infty} (1 + h)^{-\frac{λ}{h}} \\ &=& \left( \lim_{h \to \infty} (1 + h)^{\frac{1}{h}} \right)^{-λ} \\ &=& e^{-λ} \tag{7} \end{eqnarray}$

$\begin{eqnarray} \lim_{n \to \infty} P(X_n = k) = \frac{λ^k}{k!}\mathrm{e}^{-λ}　 (k=0,1,2,\cdots) \tag{8} \end{eqnarray}$

最尤推定量

$X_1,X_2,\cdots,X_n$ はそれぞれ独立に $Po(λ)$ に従うとする。

尤度関数は、

$\begin{eqnarray} L &=& P(X_1 = x_1)P(X_2 = x_2)\cdots P(X_n = x_n)　\\ &=& \frac{λ^{x_1}}{x_{1}!} e^{-λ} \cdots \frac{λ^k}{x_{n}!} e^{-λ} \\ &=& C + (x_1 + x_2 + \cdots + x_n) e^{-nλ} \tag{9} \end{eqnarray}$

対数をとってゼロとおくと、

$\begin{eqnarray} \log L &=& C + (x_1 + x_2 + \cdots + x_n) \log λ -nλ \\ \frac{\partial}{\partial λ} \log L &=& \frac{x_1 + x_2 + \cdots + x_n}{λ} -n \\ &=& 0 \tag{10} \end{eqnarray}$

(10)を満たす $λ$ は、

$\begin{eqnarray} \hat λ &=& \frac{x_1 + x_2 + \cdots + x_n}{n} \\ &=& \bar x \tag{11} \end{eqnarray}$

標本平均と一致する。

フィッシャー情報量は、

$\begin{eqnarray} \frac{\partial}{\partial λ} \log P(X_1 = x_1) &=& \frac{x_1}{λ} -1 \tag{12} \end{eqnarray}$

なので、

$\begin{eqnarray} I_1(λ) &=& V\left( \frac{X}{λ} -1 \right) \\ &=& \frac{1}{λ^2} V(X) \\ &=& \frac{1}{λ}　\tag{13} \end{eqnarray}$

$\begin{eqnarray} V[\bar x] &=& \frac{λ}{n} \\ 　 &=& \frac{1}{nλ} \\ &=& \frac{1}{I_n(λ)} \tag{14} \end{eqnarray}$

となり最尤推定量 $\hat λ = \bar X$ は有効推定量である。

連続型確率分布

指数分布

平均と分散

確率変数 $X$ が指数分布 $Exp(λ)$ に従うとき、確率密度関数は、

$\begin{eqnarray} f_{X}(x) &=& λ e^{-λx} (x > 0) \tag{} \end{eqnarray}$

このとき

$\begin{eqnarray} E[X] &=& \int_{0}^{\infty} x λ e^{-λx}dx \\ &=& \int_{0}^{\infty} u e^{-u} \frac{du}{λ} \\ &=& \frac{\Gamma(2)}{λ}　\\ &=& \frac{1}{λ} \tag{} \end{eqnarray}$

ただし

$\begin{eqnarray} \Gamma(s) &=& \int_{0}^{\infty} x^{s-1} e^{-x} dx (s > 0)　\\ \Gamma(1) &=& 1 \\ \Gamma(s+1) &=& s \Gamma(s) \tag{} \end{eqnarray}$

$\begin{eqnarray} E[X^2] &=& \int_{0}^{\infty} x^2 λ e^{-λx}dx \\ &=& \int_{0}^{\infty} (\frac{u}{λ})^2 e^{-u} \frac{du}{λ} \\ &=& \frac{\Gamma(3)}{λ^2}　\\ &=& \frac{2}{λ^2} \tag{} \end{eqnarray}$

よって分散は、

$\begin{eqnarray} V[X] &=& E[X^2] - (E[X])^2 \\ &=& \frac{2}{λ^2} - \left(\frac{1}{λ}\right)^2 \\ &=& \frac{1}{λ^2} \tag{} \end{eqnarray}$

最尤推定量

$X_1,X_2,\cdots ,X_n$ がそれぞれ独立に $Exp(λ)$ に従うとする。

尤度関数は

$\begin{eqnarray} L &=& f_{X_1}(x_1)f_{X_2}(x_2) \cdots f_{X_n}(x_n) \\ &=& λ e^{-λ x_1} λ e^{-λ x_2} \cdots λ e^{-λ x_n} \\ &=& λ^n e^{-λ(x_1 + x_2 + \cdots +x_n)} \tag{1} \end{eqnarray}$

対数を取ると

$\begin{eqnarray} \log L &=& n \log λ -λ(x_1 + x_2 + \cdots +x_n) \tag{2} \end{eqnarray}$

$λ$ で両辺を微分してゼロとおくと、

$\begin{eqnarray} \frac{\partial}{\partial λ} \log L &=& n ・\frac{1}{λ} - (x_1 + x_2 + \cdots +x_n) \\ &=& 0 \tag{3} \end{eqnarray}$

最尤推定量は、

$\begin{eqnarray} \hat λ &=& \frac{n}{x_1 + x_2 + \cdots +x_n} \\ &=& \frac{n}{\bar x} \tag{4} \end{eqnarray}$

ただしこれは不偏推定量ではない。

ガンマ分布

指数分布とガンマ分布

$\begin{eqnarray} f_X (x) &=& \frac{λ^α}{\Gamma(α)} x^{α-1}・e^{-λx} (x > 0) \tag{} \end{eqnarray}$

$α = 1$ のとき指数分布の分布関数となる。

平均と分散

$\begin{eqnarray} E[X] &=& \int_{0}^{\infty} x・\frac{λ^α}{\Gamma(α)} x^{α-1} ・e^{-λx} \\ &=& \frac{λ^α}{\Gamma(α)} \int_{0}^{\infty} x^{α}・e^{-λx} \\ &=& \frac{λ^α}{\Gamma(α)} \int_{0}^{\infty} \left(\frac{u}{λ} \right)^α e^{-λ} \frac{du}{λ} \\ &=& \frac{λ^α}{\Gamma(α)} \int_{0}^{\infty} \frac{u^α ・e^{-u}}{λ^{α+1}} du \\ &=& \frac{λ^α}{\Gamma(α)} \frac{\Gamma(α+1)}{λ^{α+1}} \\ &=& \frac{1}{λ} \frac{\Gamma(α+1)}{\Gamma(α)} \\ &=& \frac{α}{λ}　 \tag{} \end{eqnarray}$

$\begin{eqnarray} E[X^2] &=& \int_{0}^{\infty} x^2・\frac{λ^α}{\Gamma(α)} x^{α-1} ・e^{-λx} \\ &=& \frac{λ^α}{\Gamma(α)} \int_{0}^{\infty} x^{α+1}・e^{-λx} \\ &=& \frac{λ^α}{\Gamma(α)} \int_{0}^{\infty} \left(\frac{u}{λ} \right)^{α+1} e^{-u} \frac{du}{λ} \\ &=& \frac{λ^α}{\Gamma(α)} \int_{0}^{\infty} \frac{u^{α+1} ・e^{-u}}{λ^{α+2}} du \\ &=& \frac{λ^α}{\Gamma(α)} \frac{\Gamma(α+1)}{λ^{α+1}} \\ &=& \frac{1}{λ^2} \frac{α\Gamma(α+1)}{\Gamma(α)} \\ &=& \frac{α(α+1)}{λ^2}　 \tag{} \end{eqnarray}$

したがって分散は、

$\begin{eqnarray} V[X] &=& E[X^2] - (E[X])^2 \\ &=& \frac{α^2 + α}{λ} - \left(\frac{α}{λ} \right) \\ &=& \frac{α^2}{λ^2} + \frac{α}{λ^2} - \frac{α}{λ^2} \\ &=& \frac{α}{λ^2} \tag{} \end{eqnarray}$