最小二乗推定量の平均と分散

最小二乗推定量の平均・分散の導出について。

単回帰モデルの仮定
平均
分散と共分散
補足（未知の分散の置換）
参考文献

単回帰モデルの仮定

まず単回帰モデルを仮定する。誤差項は独立に平均ゼロ、分散 $σ^2$ の正規分布に従う。

${ \begin{eqnarray} y_i &=& \alpha + \beta x_i + u_i \tag{1} \\　\\ u_i &=& \overset{iid}{\sim} N (0, σ^2) \end{eqnarray} }$

(1)のパラメータ $\alpha$ 、 $\beta$ の最小二乗推定量（OLS推定量）は以下のように表される。

${ \begin{eqnarray} \hat{\alpha} &=& \bar{y} - \hat{\beta} \bar{x} \tag{2} \\ \hat{\beta} &=& \frac{\sum_{i=0}^n (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=0}^n (x_i - \bar{x})^2 } \tag{3} \end{eqnarray}}$

平均

最小二乗推定量 $\hat{\alpha}$ 、 $\hat{\beta}$ の平均を求める。 $\hat{\alpha}$ は以下のように表せるため、

${ \begin{eqnarray} \hat{\alpha} &=& \alpha + \beta \bar x - \hat{\beta} \bar x \end{eqnarray} \tag{4} }$

平均は、

${ \begin{eqnarray} E[\hat{\alpha}] &=& \bar{y} - E[\hat{\beta} ] \bar{x} \\ &=& \alpha + \beta \bar{x} + \bar{u} - \beta \bar{x}\\ &=& \alpha \tag{5} \end{eqnarray} }$

$\hat{\beta}$ も同様に、

${ \begin{eqnarray} \hat{\beta} &=& \frac{\sum_{i=0}^n (x_i - \bar{x})(\alpha + \beta x_i + u_i - \alpha - \beta \bar{x} - \bar{u})}{\sum_{i=0}^n (x_i - \bar{x})^2 } \\ &=& \frac{\sum_{i=0}^n (x_i - \bar{x})(\beta (x_i - \bar{x}) + u_i)}{\sum_{i=0}^n (x_i - \bar{x})^2} \\ &=& \beta \frac{\sum_{i=0}^n (x_i - \bar{x})^2}{\sum_{i=0}^n (x_i - \bar{x})^2} + \frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \\ \tag{6}　\\ &=& \beta + \frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \\ \tag{7} E[\hat{\beta}] &=& \beta \end{eqnarray} }$

(5),(7)より、推定量の平均がパラメータ（推定対象）と一致することを不偏性と呼ぶ。

分散と共分散

続いて $\hat{\alpha}$ 、 $\hat{\beta}$ の分散および共分散を求める。計算の便宜上、 $\hat{\beta}$ の分散から順番に求める。

${ \begin{eqnarray} Var[\hat{\beta}] &=& E[(\hat{\beta}\ - E[\hat{\beta}])^2] \\ &=& E\Bigl[ \Bigl\{\frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \Bigr\}^2 \Bigr] \\ &=& \frac{\sum_{i=0}^n (x_i - \bar{x})^2 E[ u_i^2 ] }{ \{\sum_{i=0}^n (x_i - \bar{x})^2\}^2} \\ &=& \frac{\sigma^2}{\sum_{i=0}^n (x_i - \bar{x})^2} \tag{8} \\ \\ Var[\hat{\alpha}] &=& E[(\hat{\alpha}\ - E[\hat{\alpha}])^2] \\ &=& E[ {(\beta - \hat{\beta})\bar x}^2] \\ &=& \bar x^2 E[(\hat{\beta}\ - E[\hat{\beta}])^2] \\ &=& \bar x^2 \frac{\sigma^2}{\sum_{i=0}^n (x_i - \bar{x})^2} \\ &=& \frac{\sigma^2 \sum_{i=0}^n x_i^2}{n \sum_{i=0}^n (x_i - \bar{x})^2} \tag{9}　\\ \\ Cov[\hat{\alpha},\hat{\beta}] &=& E[(\hat{\alpha}\ - E[\hat{\alpha}])(\hat{\beta}\ - E[\hat{\beta}])] \\ &=& E\Bigl[(\beta - \hat{\beta}) \bar{x} \frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \Bigr] \\ &=& E\Bigl[\frac{- \sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \bar{x} \frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2}\Bigr] \\ &=& \frac{- \sum_{i=0}^n (x_i - \bar{x})^2 E[ u_i^2] \bar{x} }{ \{\sum_{i=0}^n (x_i - \bar{x})^2\}^2} \\ &=& \frac{- \sigma^2 \bar{x} }{\sum_{i=0}^n (x_i - \bar{x})^2} \tag{10} \end{eqnarray} }$