【Mostly Harmless Ch.3.1.2】回帰係数とFWL定理

はじめに

この記事ではFWL定理(Frisch–Waugh–Lovell ; FWL theorem)を応用した回帰係数ベクトルの性質を扱います。内容の多くはJoshua D. Angrist & Jorn-steffen Pischke (2008)『Mostly Harmless Econometrics』Chapter3.1.2"Linear Regression and the CEF"に依拠しています。

はじめに
FWL定理を応用した回帰係数の表現
- Regression Anatomy
Regression Anatomyの証明
回帰係数にはいくつかの流派がある？
終わりに・感想
参考文献

FWL定理を応用した回帰係数の表現

まずは回帰係数ベクトルを定義しましょう。 $k×1$ の回帰係数ベクトル $β$ を、以下の $b$ についての最適化の解だと定義します。

${ \begin{eqnarray} β =\underset{b}{argmin} &E[(Y_i-X_i’b)^2] 　\tag{1} \end{eqnarray} }$

一階の条件（First order condition; F.O.C）より、

${ \begin{eqnarray} E[X_i(Y_i-X_i’b)] &=& 0 \tag{2} \end{eqnarray} }$

$b$ の解は $β = E[X_iX_i’]^{-1}E[X_i’Y_i]$ と表せ、これがF.O.Cを満たすため、

${ \begin{eqnarray} E[X_i(Y_i-X_i’β)] &=& 0 \tag{3} \end{eqnarray} }$

(3)を言い換えると、残差 $e_i = Y_i - X_i’β$ は $X_i$ と独立です。残差はそれ自体単独では存在せず、 $β$ が得られて初めて存在します。多変量回帰の場合、 $k$ 番目の回帰係数ベクトルの成分は以下のように与えられます*1。

Regression Anatomy

${ \begin{eqnarray} β_k &=& \frac{Cov(Y_i,\tilde{x_{ki}})}{Var(\tilde{x_{ki}})} \end{eqnarray} }$

$\tilde{x_{ki}}$ は、 $x_i$ を他のすべての共変量（説明変数）へ回帰した結果得られる残差。

Regression AnatomyはFWL定理*2の応用です。多変量回帰における各回帰係数は、他のすべての共変量を部分的に除いた（partialing out）後の、二変量回帰係数（つまり単回帰係数）と等しくなります。つまり $K$ 次元の多変量回帰モデルは $K$ 個の単回帰に分割できる、ことを意味します。

Regression Anatomyの証明

以下、Valerio, F.（2010）に従って、Regression Anatomyを証明しましょう。

Filoso, Valerio. (2013). Regression Anatomy, Revealed. Stata Journal. 13. 1-15.

まず $K$ 次元多変量回帰モデルを定義します。

${ \begin{eqnarray} Y_i &=& β_0 + β_1 x_{1i} + \cdots + \cdots + β_k x_{ki} + \cdots + β_K x_{Ki} + e_i \tag{4} \end{eqnarray} }$

次に、 $\tilde{x_{ki}}$ を導出するため $x_{ki}$ を他の $K$ - $1$ 個の説明変数に回帰させます。

${ \begin{eqnarray} x_{ki} &=& γ_0 + γ_1x_{1i} + \cdots + γ_kx_{k-1 i} + γ_{k+1}x_{k+1 i} + \cdots + γ_{K}x_{Ki} + f_i \\　\tag{5} \end{eqnarray} }$

$\tilde{x_{ki}}$ は以下のように表せます。

${ \begin{eqnarray} \tilde{x_{ki}} &=& f_i \\ &=& x_{ki} - \hat{x_{ki}}\\　\tag{6} \end{eqnarray} }$

(4),(5),(6)をRegression Anatomyに代入すると、

${ \begin{eqnarray} β_k &=& \frac{Cov(β_0 + β_1 x_{1i} + \cdots + β_k x_{Ki} + e_i,\tilde{x_{ki}})}{Var(\tilde{x_{ki}})} \\ &=& \frac{Cov(β_0 + β_1 x_{1i} + \cdots + β_k x_{Ki} + e_i,f_i)}{Var(f_i)} \tag{7} \end{eqnarray} }$

と表すことができます。

次に(5)の残差 $f_i$ は期待値ゼロであるため、
${ \begin{eqnarray} E[f_i] &=& 0 \\ β_0E[f_i] &=& 0 \\ \tag{8} \end{eqnarray} }$

また $f_i$ は $x_{ki}$ を除く他すべての説明変数と無相関であるため、

${ \begin{eqnarray} β_1E[f_i x_{1i}] = β_2E[f_i x_{2i}] = \cdots =β_{k-1}E[f_i x_{k-1 i}] = β_{k+1}E[f_i x_{k+1 i}] = β_{K}E[f_i x_{K i}] = 0 \\　\tag{9} \end{eqnarray} }$

さらに、 $e_i$ はすべての説明変数と無相関であるため、

${ \begin{eqnarray} E[e_if_i] &=& E[e_i \tilde{x_{ki}}] \\ &=& E[e_i(x_{ki} - \hat{x_{ki}})] \\ &=& E[e_i x_{ki} ]- E[e_i \hat{x_{ki}}] \\ &=& -E[e_i (γ_0 + γ_1x_{1i} + \cdots + γ_kx_{k-1 i} + γ_{k+1}x_{k+1 i} + \cdots + γ_{K}x_{Ki} + f_i) ] \tag{10} &=& 0 \end{eqnarray} }$

最後に、Regression Anatomyの分子の共分散を以下のように展開します。

${ \begin{eqnarray} Cov(Y_i,\tilde{x_{ki}}) &=& E[Y_i - E(Y_i)][\tilde{x_{ki}} -E(\tilde{x_{ki}})] \\ &=& E[Y_i \tilde{x_{ki}} -E(Y_i)\tilde{x_{ki}}] \\ &=& E[β_k x_{ki} \tilde{x_{ki}}] \\ \tag{11} \end{eqnarray} }$

(5)の右辺を条件付き期待値を用いて書き直すと、

${ \begin{eqnarray} x_{ki} &=& E[x_{ki}|X_{-k}] + \tilde{x_{ki}} \\ \tag{12} \end{eqnarray} }$

(12)を(11)の右辺に代入すると、

${ \begin{eqnarray} E[β_k x_{ki} \tilde{x_{ki}}] &=& E[β_k (E[x_{ki}|X_{-k}] + \tilde{x_{ki}} )\tilde{x_{ki}}] \\ &=& β_k \{E[(x_{ki})^2] + (E[x_{ki}|X_{-k}]\tilde{x_{ki}} )\}\ \\ &=&β_k Var(\tilde{x_{ki}}) 　\tag{13} \end{eqnarray} }$

したがって、
${ \begin{eqnarray} Cov(Y_i,\tilde{x_{ki}}) &=& β_k Var(\tilde{x_{ki}}) \\ \tag{14} \end{eqnarray} }$
が成立します。

$\tilde{x_{ki}}$ は従属変数 $Y_i$ の線形結合であるため、誤差項の $e_i$ とは無相関。 $\tilde{x_{ki}}$ はまた他のすべての説明変数への回帰によって得られる残差であるため、これらの共変量とも無相関です。同様の理由で $\tilde{x_{ki}}$ と $x_i$ の共分散は、 $\tilde{x_{ki}}$ の分散に等しくなります。

回帰係数にはいくつかの流派がある？

Regression Anatomy によって重回帰係数を表現できることが分かりました。元々のFWL定理では、従属変数の $Y_i$ の部分が $x_{ki}$ 以外に回帰して得られた残差を用いるため $\tilde{Y_i}$ となります。

${ \begin{eqnarray} β_k = \frac{Cov(\tilde{Y_i},\tilde{x_{ki}})}{Var(\tilde{x_{ki}})} \tag{15} \end{eqnarray} }$

Regression Anatomyと従来のFWL定理によって得られた(15)はどちらも回帰係数ベクトルですが、その違いは何でしょうか。Valerio, F.（2010）には両者のメリット・デメリットが端的に記載されています。(15)を用いる利点は、回帰係数の分散が小さいことです。

${ \begin{eqnarray} V[Y_i] \geq V[\tilde{Y_i}] \tag{16} \end{eqnarray} }$

Regression Anatomyの場合は、 $Y_i$ そのまま用いている分、 $x_{ki}$ 以外の分散を消去した $\tilde{Y_i}$ に比べて分散が大きくなってしまうのです。

一方、Regression Anatomyの利点は、観察データ $Y_i$ を使って回帰係数を導出できる点です。FWL定理による(15)の場合は、 $\tilde{Y_i}$ の値が説明変数の値によって値が変わってしまいます。同じ従属変数の $Y_i$ に対して異なる説明変数を用いてモデルを推定・比較する場合は説明変数の値に影響を受けないRegression Anatomyに分がある、という訳です。

この記事で定義された回帰係数の性質は、推定値というよりむしろ説明変数と被説明変数の同時確率分布の非確率的な特徴です。我々が推定しようとするものが一体何なのかを表すものです。

終わりに・感想

Regression Anatomy（回帰係数の解剖学？）というキャッチーな名前ですが、やってる中身はなかなかの奥深さです。今回は数式の証明だけでしたが、やはり自分の手で定義の異なる回帰係数ベクトルの値を算出してみる、などのシミュレーションをやってみたいです。今自分にそこまでのプログラミング能力がないのが悔しいです。一旦Angrist and Pischke（2008）関連の記事が落ち着いたらRやPythonで計量経済学を学んでいく、みたいな記事も書きたいです。読んでいただいてありがとうございました。

参考文献

Mostly Harmless Econometrics: An Empiricist's Companion

作者:Angrist, Joahua D.,Pischke, Jorn-steffen
Princeton University Press

Amazon

計量経済学 (New Liberal Arts Selection)

作者:西山慶彦,新谷元嗣,川口大司,奥井亮
有斐閣

Amazon

*1:説明変数が $x_i$ のみの単回帰の場合、回帰係数は $β_1=\frac{C(Y_i,x_i)}{Var(x_i)}$ と $α=E[Y_i]-β_1E[X_i]$ ですね。

*2:Frisch-Waugh-Lovell定理の略です。重回帰モデルにおいて説明変数 $Y_i$ を $X_{ki}$ 以外に回帰した時の残差(1)、そして $X_{ki}$ を $X_{ki}$ 以外の説明変数に回帰した時の残差(2)について、残差(1)を残差(2)に回帰して得られた回帰係数は元々の回帰係数と等しくなる、という定理です。

Goodな生活

INTPの好奇心の受け皿