Goodな生活

経済学修士→環境コンサル→データサイエンス

標本分散の不偏性

統計学入門』第9章の学習メモ。標本分散(不偏分散)の不偏性について。

定義

標本分散(不偏分散)の定義は以下の通り。母分散σ^2と区別するため、s^2で表される。

 {
\begin{eqnarray}
s^2 &=& \frac{1}{n-1} \left\{(X_1 - \overline{X})^2 +  (X_2 - \overline{X})^2 + \cdots + (X_n - \overline{X})^2\right\} \tag{1}
\end{eqnarray}
}

(1)の右辺の分母が(n-1)なのは、s^2の不偏性を担保するためである。

不偏性の証明

不偏性(unbiasedness)とは、標本対応の期待値が母集団の統計量と一致する性質である。
標本分散の期待値と母分散の一致を示す。

 {
\begin{eqnarray}
E[s^2] &=& σ^2 \tag{2}
\end{eqnarray}
}

(1)より、

 {
\begin{eqnarray}
s^2 &=& \frac{1}{n-1} \left\{(X_1 - \overline{X})^2 +  (X_2 - \overline{X})^2 + \cdots + (X_n - \overline{X})^2\right\} \\
&=& \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X})^2 \\
&=& \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X} - \mu +\mu )^2 \\
&=& \frac{1}{n-1} \sum_{i=1}^{n} \left((X_i - \mu) - (\overline{X} - \mu)\right)^2 \\
&=& \frac{1}{n-1}  \left\{ \sum_{i=1}^{n} (X_i - \mu)^2 - 2 \sum_{i=1}^{n}(X_i - \mu)(\overline{X} - \mu) + \sum_{i=1}^{n} (\overline{X} - \mu)^2 \right\} \\
&=& \frac{1}{n-1}  \left\{ \sum_{i=1}^{n} (X_i - \mu)^2 - 2n(\overline{X} - \mu)^2+ n (\overline{X} - \mu)^2 \right\} \\
&=& \frac{1}{n-1}  \left\{ \sum_{i=1}^{n} (X_i - \mu)^2 - n(\overline{X} - \mu)^2 \right\} \\
&=& \frac{n}{n-1}  \left\{ \frac{1}{n}\sum_{i=1}^{n} (X_i - \mu)^2 - (\overline{X} - \mu)^2 \right\} \tag{3}
\end{eqnarray}
}

μは母集団の平均である。

(3)の期待値をとると、

 {
\begin{eqnarray}
E[s^2] &=& \frac{n}{n-1}  \left\{ \frac{1}{n}\sum_{i=1}^{n} E\left[(X_i - \mu)\right]^2 - E\left[(\overline{X} - \mu)^2 \right]\right\} \\
&=& \frac{n}{n-1} \left\{ σ^2 - \frac{σ^2}{n} \right\} \rightarrow σ^2 (  n \rightarrow \infty) \tag{4}\\
\end{eqnarray}
}


となり、n=サンプル数が十分に大きいとき、標本分散は母分散に一致することが示された。

昔受けた統計学の授業では、『nではなくn-1で割るのは、標本平均\overline{X}を規定したことで、自由度が一つ(1次元)下がったペナルティだ』という説明を受けた。

参考文献

統計学入門 (基礎統計学Ⅰ)

統計学入門 (基礎統計学Ⅰ)

  • 発売日: 1991/07/09
  • メディア: 単行本
確率と統計 (現代基礎数学)

確率と統計 (現代基礎数学)