Goodな生活

Goodな生活

それは、いきあたりばっちりな人生。being good and haphazard.

MENU

最小二乗推定量の平均と分散

はじめに

最小二乗推定量の平均・分散の導出についてのメモ。

単回帰モデルを仮定する。

 {
 \begin{eqnarray}
y_i &=&  \alpha + \beta x_i + u_i \tag{1} \\ \\
u_i &=& \overset{iid}{\sim} N (0, σ^2)
\end{eqnarray}
}


(1)の\alpha\betaのOLS推定量(最小二乗推定量)は以下のように表される。

 {
 \begin{eqnarray}
\hat{\alpha} &=& \bar{y} - \hat{\beta} \bar{x} \tag{2} \\
\hat{\beta} &=& \frac{\sum_{i=0}^n (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=0}^n (x_i - \bar{x})^2 } \tag{3} 
\end{eqnarray}
}

平均

\hat{\alpha}\hat{\beta}の平均を求める。

 {
 \begin{eqnarray}

\hat{\alpha} &=& \alpha + \beta \bar x - \hat{\beta} \bar x \\

E[\hat{\alpha}] &=& \bar{y} - E[\hat{\beta} ] \bar{x}  \\
               &=& \alpha + \beta \bar{x} + \bar{u} - \beta \bar{x}\\
               &=& \alpha   \tag{4} \\ \\

\hat{\beta} &=&  \frac{\sum_{i=0}^n (x_i - \bar{x})(\alpha + \beta x_i + u_i - \alpha - \beta \bar{x} - \bar{u})}{\sum_{i=0}^n (x_i - \bar{x})^2 } \\
                  &=& \frac{\sum_{i=0}^n (x_i - \bar{x})(\beta (x_i - \bar{x}) + u_i)}{\sum_{i=0}^n (x_i - \bar{x})^2} \\
                  &=& \beta \frac{\sum_{i=0}^n (x_i - \bar{x})^2}{\sum_{i=0}^n (x_i - \bar{x})^2} + \frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \\
&=& \beta +  \frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \\ \tag{5}

E[\hat{\beta}] &=& \beta 

\end{eqnarray}
}

分散と共分散

続いて\alpha\betaの分散および共分散を求める。
計算の便宜上、\betaの分散から順番に求める。


 {
 \begin{eqnarray}

Var[\hat{\beta}] &=& E[(\hat{\beta}\ - E[\hat{\beta}])^2] \\
                           &=& E\Bigl[ \Bigl\{\frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \Bigr\}^2 \Bigr] \\
                           &=& \frac{\sum_{i=0}^n (x_i - \bar{x})^2 E[ u_i^2 ] }{ \{\sum_{i=0}^n (x_i - \bar{x})^2\}^2} \\
                           &=& \frac{\sigma^2}{\sum_{i=0}^n (x_i - \bar{x})^2} \tag{6} \\  \\ 
  
Var[\hat{\alpha}] &=&  E[(\hat{\alpha}\ - E[\hat{\alpha}])^2] \\ 
                              &=& E[ {(\beta - \hat{\beta})\bar x}^2] \\ 
                              &=& \bar x^2 E[(\hat{\beta}\ - E[\hat{\beta}])^2] \\ 
                              &=& \bar x^2 \frac{\sigma^2}{\sum_{i=0}^n (x_i - \bar{x})^2} \\ 
                              &=&  \frac{\sigma^2 \sum_{i=0}^n x_i^2}{n \sum_{i=0}^n (x_i - \bar{x})^2}   \tag{7} \\ \\ 

Cov[\hat{\alpha},\hat{\beta}]  &=& E[(\hat{\alpha}\ - E[\hat{\alpha}])(\hat{\beta}\ - E[\hat{\beta}])]  \\ 
                                                &=&  E\Bigl[(\beta - \hat{\beta}) \bar{x} \frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \Bigr] \\ 
                                                 &=&  E\Bigl[\frac{- \sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2} \bar{x} \frac{\sum_{i=0}^n (x_i - \bar{x})u_i}{\sum_{i=0}^n (x_i - \bar{x})^2}\Bigr]  \\
                                                &=& \frac{- \sum_{i=0}^n (x_i - \bar{x})^2 E[ u_i^2] \bar{x} }{ \{\sum_{i=0}^n (x_i - \bar{x})^2\}^2} \\
                                                &=&  \frac{- \sigma^2 \bar{x} }{\sum_{i=0}^n (x_i - \bar{x})^2}  \tag{8}
\end{eqnarray}
}

補足

(6),(7),(8)には誤差項の標準偏差σが含まれている。しかしσは観察できない確率変数である。そのため(1)の残差u_iの推定値を代わりに用いて、σの推定値を求める。


 {
 \begin{eqnarray}
s^2  =  \frac{\sum_{i=0}^n \hat u_i^2 }{n-2} \tag{9}
\end{eqnarray}
}


(9)は誤差項の不偏分散(標本分散)である。残差の二乗和を n-2 で割るのは不偏性を担保するためである。それゆえE[s^2]=σ^2である。
標本分散の不偏性については別の記事で扱った。

www.goodnalife.com


参考文献

計量経済学 (サピエンティア)

計量経済学 (サピエンティア)