【統計検定準1級】質的回帰

Logitモデル
Probitモデル
参考文献

Logitモデル

線形回帰モデルの場合、量的変数である $y_i$ を予測するのに、 $y_i$ のとる値に制限がない。

${\begin{eqnarray} y_i &=& α + \sum_{k=1}^{m} β_k x_k \tag{1} \end{eqnarray}}$

$y_i$ が0もしくは1の値をとる二値変数であり、 $y_i$ が1をとる確率を予測する場合、以下の構造をもつロジスティック回帰モデルを用いる。

${\begin{eqnarray} P(y_i = 1)&=& \frac{\exp(α + \sum_{k=1}^{m} β_k x_k)} {1 + \exp(α + \sum_{k=1}^{m} β_k x_k)} \tag{2} \end{eqnarray}}$

$0<π<1$ として、 $y_i$ の期待値を $π=E[y_i]$ と仮定すると、ロジスティック回帰モデルは以下のように表すことができる。

${\begin{eqnarray} \log \frac{π}{1-π} &=& α + \sum_{k=1}^{m} β_k x_k \tag{3} \end{eqnarray}}$

(3)の両辺の指数をとると、

${\begin{eqnarray} \frac{π}{1-π} &=& \exp( α + \sum_{k=1}^{m} β_k x_k ) \\ &=& \exp( α + β_1 x_1 + β_2 x_2 + \cdots + β_m x_m) \\ &=& e^{α} (e^{β_1})^{x_1} (e^{β_2})^{x_2} \cdots (e^{β_m})^{x_m} \tag{4} \end{eqnarray}}$

(4)の左辺は $y_i$ のオッズと呼ばれる。 $x_k$ 以外の値を固定した状態で $x_k$ の値が1増えると、右辺全体の大きさは $e^{β_k}$ 増える。すなわち回帰係数 $β_k$ の値は説明変数 $x_k$ の変化が $y_k$ のオッズに与える寄与度を表したものである。もちろん(3)を用いて対数オッズの推定量を表す、と説明することもできる。

Probitモデル

二値問題に関するもう一つの代表的なモデルがプロビットモデルである。標準正規分布の累積密度関数 $Φ(x)$ を用い、

${\begin{eqnarray} Φ(x) &=& \int_{-\infty}^{x} \frac{1}{\sqrt{2π}} e^{-\frac{1}{2}y^2}dy \tag{5} \end{eqnarray}}$

${\begin{eqnarray} π = Φ(α + β_1 x_1 + β_2 x_2 + \cdots + β_m x_m) \tag{6} \end{eqnarray}}$

(6)という構造を仮定する。

プロビットモデルでは説明変数 $x_k$ の効果の大きさを、(6)の偏微分を用いて評価する。

${\begin{eqnarray} \frac{\partial π}{\partial x_k} &=& \frac{\partial Φ(α + β_1 x_1 + β_2 x_2 + \cdots + β_m x_m)}{\partial x_j} \\ &=& φ(α + β_1 x_1 + β_2 x_2 + \cdots + β_m x_m) β_k \tag{7} \end{eqnarray}}$