Goodな生活

Goodな生活

データサイエンスと弦楽器を探究する

最小二乗推定量の平均と分散

最小二乗推定量の平均・分散の導出について。

単回帰モデルの仮定

まず単回帰モデルを仮定する。誤差項は独立に平均ゼロ、分散σ^2正規分布に従う。

 {
 \begin{eqnarray}
y_i &=&  \alpha + \beta x_i + u_i \tag{1} \\ \\
u_i &=& \overset{iid}{\sim} N (0, σ^2)
\end{eqnarray}
}


(1)のパラメータ\alpha\betaの最小二乗推定量(OLS推定量)は以下のように表される。

 {
 \begin{eqnarray}
\hat{\alpha} &=& \bar{y} - \hat{\beta} \bar{x} \tag{2} \\
\hat{\beta} &=& \frac{\sum_{i=0}^n (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=0}^n (x_i - \bar{x})^2 } \tag{3} 
\end{eqnarray}}

平均

最小二乗推定量\hat{\alpha}\hat{\beta}の平均を求める。\hat{\alpha}は以下のように表せるため、

 {
 \begin{eqnarray}
\hat{\alpha} &=& \alpha + \beta \bar x - \hat{\beta} \bar x 
\end{eqnarray} \tag{4}
}

平均は、

 {
 \begin{eqnarray}
E[\hat{\alpha}] &=& \bar{y} - E[\hat{\beta} ] \bar{x}  \\
               &=& \alpha + \beta \bar{x} + \bar{u} - \beta \bar{x}\\
               &=& \alpha   \tag{5} 
\end{eqnarray}
}

\hat{\beta}も同様に、

 {
 \begin{eqnarray}
\hat{\beta} &=&  \frac{\sum_{i=0}^n (x_i - \bar{x})(\alpha + \beta x_i + u_i - \alpha - \beta \bar{x} - \bar{u})}{\sum_{i=0}^n (x_i - \bar{x})^2 } \\
                  &=& \frac{\sum_{i=0}^n (x_i - \bar{x})(\beta (x_i - \bar{x}) + u_i)}{\sum_{i=0}^n (x_i - \bar{x})^2} \\
                  &=& \beta \frac{\sum_{i=0}^n (x_i - \bar{x})^2}{\sum_{i=0}^n (x_i - \bar{x})^2} + \frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \\ \tag{6} \\
&=& \beta +  \frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \\ \tag{7}

E[\hat{\beta}] &=& \beta 

\end{eqnarray}
}

(5),(7)より、推定量の平均がパラメータ(推定対象)と一致することを不偏性と呼ぶ。

分散と共分散

続いて\hat{\alpha}\hat{\beta}の分散および共分散を求める。計算の便宜上、\hat{\beta}の分散から順番に求める。

 {
 \begin{eqnarray}

Var[\hat{\beta}] &=& E[(\hat{\beta}\ - E[\hat{\beta}])^2] \\
                           &=& E\Bigl[ \Bigl\{\frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \Bigr\}^2 \Bigr] \\
                           &=& \frac{\sum_{i=0}^n (x_i - \bar{x})^2 E[ u_i^2 ] }{ \{\sum_{i=0}^n (x_i - \bar{x})^2\}^2} \\
                           &=& \frac{\sigma^2}{\sum_{i=0}^n (x_i - \bar{x})^2} \tag{8} \\  \\ 
  
Var[\hat{\alpha}] &=&  E[(\hat{\alpha}\ - E[\hat{\alpha}])^2] \\ 
                              &=& E[ {(\beta - \hat{\beta})\bar x}^2] \\ 
                              &=& \bar x^2 E[(\hat{\beta}\ - E[\hat{\beta}])^2] \\ 
                              &=& \bar x^2 \frac{\sigma^2}{\sum_{i=0}^n (x_i - \bar{x})^2} \\ 
                              &=&  \frac{\sigma^2 \sum_{i=0}^n x_i^2}{n \sum_{i=0}^n (x_i - \bar{x})^2}   \tag{9} \\ \\ 

Cov[\hat{\alpha},\hat{\beta}]  &=& E[(\hat{\alpha}\ - E[\hat{\alpha}])(\hat{\beta}\ - E[\hat{\beta}])]  \\ 
                                                &=&  E\Bigl[(\beta - \hat{\beta}) \bar{x} \frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \Bigr] \\ 
                                                 &=&  E\Bigl[\frac{- \sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \bar{x} \frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2}\Bigr]  \\
                                                &=& \frac{- \sum_{i=0}^n (x_i - \bar{x})^2 E[ u_i^2] \bar{x} }{ \{\sum_{i=0}^n (x_i - \bar{x})^2\}^2} \\
                                                &=&  \frac{- \sigma^2 \bar{x} }{\sum_{i=0}^n (x_i - \bar{x})^2}  \tag{10}
\end{eqnarray}
}

(9)では(8)の結果を用いている。
共分散がマイナスになるのは、αβのうち片方がプラスに振れるともう片方はマイナスに振れるため。

補足(未知の分散の置換)

(8),(9),(10)は誤差項の標準偏差σを含む。しかしσは観察できない確率変数であるため、(1)の残差u_iの推定値を代わりに用いる。


 {
 \begin{eqnarray}
s^2  =  \frac{\sum_{i=0}^n \hat u_i^2 }{n-2} \tag{11}
\end{eqnarray}
}


(11)は誤差項の不偏分散(標本分散)である。残差の二乗和を n-2 で割るのは不偏性を担保するためである。それゆえE[s^2]=σ^2である。
標本分散の不偏性については別の記事で扱った。

参考文献

計量経済学 (サピエンティア)

計量経済学 (サピエンティア)