標本分散の不偏性

『統計学入門』第9章の学習メモ。標本分散（不偏分散）の不偏性について。

定義
不偏性の証明
参考文献

定義

標本分散（不偏分散）の定義は以下の通り。母分散 $σ^2$ と区別するため、 $s^2$ で表される。

${ \begin{eqnarray} s^2 &=& \frac{1}{n-1} \left\{(X_1 - \overline{X})^2 + (X_2 - \overline{X})^2 + \cdots + (X_n - \overline{X})^2\right\} \tag{1} \end{eqnarray} }$

(1)の右辺の分母が(n-1)なのは、 $s^2$ の不偏性を担保するためである。

不偏性の証明

不偏性（unbiasedness）とは、標本対応の期待値が母集団の統計量と一致する性質である。
標本分散の期待値と母分散の一致を示す。

${ \begin{eqnarray} E[s^2] &=& σ^2 \tag{2} \end{eqnarray} }$

(1)より、

${ \begin{eqnarray} s^2 &=& \frac{1}{n-1} \left\{(X_1 - \overline{X})^2 + (X_2 - \overline{X})^2 + \cdots + (X_n - \overline{X})^2\right\} \\ &=& \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X})^2 \\ &=& \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X} - \mu +\mu )^2 \\ &=& \frac{1}{n-1} \sum_{i=1}^{n} \left((X_i - \mu) - (\overline{X} - \mu)\right)^2 \\ &=& \frac{1}{n-1} \left\{ \sum_{i=1}^{n} (X_i - \mu)^2 - 2 \sum_{i=1}^{n}(X_i - \mu)(\overline{X} - \mu) + \sum_{i=1}^{n} (\overline{X} - \mu)^2 \right\} \\ &=& \frac{1}{n-1} \left\{ \sum_{i=1}^{n} (X_i - \mu)^2 - 2n(\overline{X} - \mu)^2+ n (\overline{X} - \mu)^2 \right\} \\ &=& \frac{1}{n-1} \left\{ \sum_{i=1}^{n} (X_i - \mu)^2 - n(\overline{X} - \mu)^2 \right\} \\ &=& \frac{n}{n-1} \left\{ \frac{1}{n}\sum_{i=1}^{n} (X_i - \mu)^2 - (\overline{X} - \mu)^2 \right\} \tag{3} \end{eqnarray} }$

$μ$ は母集団の平均である。

(3)の期待値をとると、

${ \begin{eqnarray} E[s^2] &=& \frac{n}{n-1} \left\{ \frac{1}{n}\sum_{i=1}^{n} E\left[(X_i - \mu)\right]^2 - E\left[(\overline{X} - \mu)^2 \right]\right\} \\ &=& \frac{n}{n-1} \left\{ σ^2 - \frac{σ^2}{n} \right\} \rightarrow σ^2 ( n \rightarrow \infty) \tag{4}\\ \end{eqnarray} }$