ざっくり理解する中心極限定理

はじめに

この記事では中心極限定理（central limit theorem ; CLT）を扱います。仮説検定はもちろん統計的推論（statistical inference）の大前提となる重要な定理です。内容の一部を東京大学出版の『統計学入門』の第8章を参考にしています。CLTにも研究者によるバリエーションや付随する条件など色々ありますが、細かい事項には踏み込みません。

はじめに
定義の確認と大数の法則との違い
証明
イメージで理解する
疑問点
参考文献

定義の確認と大数の法則との違い

まずはCLTの定義を確認しましょう。

${ \begin{eqnarray} \lim_{n \to \infty} P\left(a \leqq \frac{X_1+X_2+\cdots + X_n - n\mu}{\sqrt{n}\sigma}\leqq b \right) = \int_a^b \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} dx \tag{1} \end{eqnarray} }$

(1)の左辺はある確率の収束先を示しています。ある確率とは、確率変数の和を標準化した値がある範囲を取る確率です。右辺は標準正規分布の密度関数です。CLTを機械的に説明すると、サンプルサイズが十分に大きいとき、確率変数の和を標準化した確率変数は標準正規分布に従うこと、です。ことを示しています。サンプルサイズは、母集団からの1回の標本抽出で得られるデータの数です。標準正規分布は、平均 $0$ 、分散 $1$ に従う確率変数の分布です。

前回の記事の大数の弱法則は、標本平均が母集団の平均に収束することを示しました。一方、CLTは、確率分布の和の形が正規分布の形に収束することを示すものです。どちらも確率変数の収束に関する性質であり、前者は確率収束（convergence in probability）、後者は分布収束（convergence in distribution）*1と呼ばれます。大数の法則に比べ、CLTは正規分布の形を取りながら母集団の平均に収束する、より厳密な収束の条件を確率変数に課すものです。

証明

まず確率変数 $X_i$ を標準化した変数 $Y_i$ を考えます。 $X_i$ はそれぞれが独立に同一の分布に従うと仮定します。

${ \begin{eqnarray} Y_1=\frac{X_1 - \mu}{\sigma}, Y_2=\frac{X_2 - \mu}{\sigma}, \cdots , Y_n=\frac{X_n - \mu}{\sigma}\tag{2} \end{eqnarray} }$

ここでは $i \in \left\{1,...,n\right\}$ に対し $E(Y_i)=0$ 、 $V(Y_i)=1$ です。

(2)のうち1つの $Y_i$ のモーメント母関数（moment generating function）*2を $M_{Y_i(t)} = E(e^{tY_i})$ とします。ここで $T = \frac{Y_1 + Y_2 + \cdots + Y_n}{\sqrt{n}}$ とすると*3、 $T$ のモーメント母関数は、 $Y_1, Y_2, \cdots ,Y_n$ の積となります。

${ \begin{eqnarray} M_T\left(\frac{t}{\sqrt{n}}\right) &=& E\left(e^{tT}\right) \\ &=& E\left(e^{t\frac{(Y_1 + Y_2 + \cdots + Y_n)}{\sqrt{n}}}\right) \\ &=& E\left(e^{\frac{t}{\sqrt{n}}Y_1}\right) E\left(e^{\frac{t}{\sqrt{n}}Y_2}\right) \cdots E\left(e^{\frac{t}{\sqrt{n}}Y_n}\right) \\ &=& \left\{M_Y\left(\frac{t}{\sqrt{n}}\right)\right\}^n \\ &=& \left\{M_Y(0) + M_Y(0)^{\prime} \left(\frac{t}{\sqrt{n}}\right) + M_Y(0)^{\prime\prime} \frac{ \left(\frac{t}{\sqrt{n}}\right)^2}{2} + o\left(\frac{1} {n}\right)\right\}^n \\ &=& \left\{1 + \left(\frac{t^2}{2n} \right)+ o\left(\frac{1}{n}\right)\right\}^n \\ &\rightarrow& e^{\frac{t^2}{2}} \left(n \rightarrow \infty\right) \tag{3} \\ \end{eqnarray} }$

(3)より、標準化された確率変数 $T$ は、標準正規分布に分布収束します。(3)の途中式ではテイラー展開と、以下の指数関数の性質を用います。

${ \begin{eqnarray} \lim_{n \to \infty} \left(1+\frac{1}{n}\right)^n &=& e \\ \lim_{n \to \infty} \left(1+\frac{t^2}{2} \frac{1}{n}\right)^n &=& e^{\frac{t^2}{2}} \tag{4} \end{eqnarray} }$

興味深いのは、確率変数 $X_i$ の従う分布について何の仮定も置かれていない点です。つまりどんな分布に従う確率変数であっても、たくさん観察して標準化してプロットすれば、正規分布（に近しい分布）を描けます。回帰分析の標準的仮定*4の1つに、『誤差項が正規分布に従う』というものがあります。これをサポートするのがCLTです。

イメージで理解する

CLTをイメージを使って理解します。確率 $p=0.2$ 、サンプルサイズ（試行回数） $n=10$ の二項分布に従う確率変数を仮定します。確率変数の平均は $np = 2$ 、分散は $np(1-p) = 1.6$ です。標準化した確率変数のヒストグラムに、平均 $0$ 、分散 $1$ の標準正規分布の密度関数を重ねて表示します。CLTが成立するならば、サンプルサイズが大きくなるにつれて、確率変数のヒストグラムは標準正規分布に近い形になると予想されます。以下、サンプルサイズを $100,1000,10000$ とした場合の図を示します。