統計検定準1級：非線形回帰における正則化

線形回帰では直線による回帰しかできなかった一方、説明変数 $x$ を変数変換したものを説明変数に加えることで非線形回帰ができる。 $x$ を変数変換したものを基底関数と呼ぶ。基底関数をたくさん使うことで説明変数をいくらでも増やすことができるが、過学習 *1が起こる。そこで意味のない説明変数（基底関数） $φ_{k}(x)$ の回帰係数 $β_k$ がゼロになるように工夫して推定する。

正則化
参考

正則化

以下の非線形回帰モデルを想定する。
${\begin{eqnarray} y_i &=& α + \sum_{k=1}^{m} β_k φ_k (x_i) + ε_i \tag{1} \end{eqnarray}}$
通常の残差平方和は $\sum_{i=1}^{n} ε_i^{2}$ であるが、以下のように罰則項（正則化項）を加える。 $λ>0$ として、
${\begin{eqnarray} S(β_1,\cdots ,β_k) &=& \sum_{i=1}^{n} ε_i^{2} + λ \sum_{k=1}^{m} |β_k|^{p} \tag{2} \end{eqnarray}}$
(2)の最小化を行う。 $β_k$ をゼロではない値に推定することにより、正則化項の影響で式全体の値が小さくならない。説明力の弱い説明変数 $θ_k(x)$ の係数 $β_k$ はゼロと推定されると期待できる。 $λ$ は正則化パラメータと呼ばれ、罰則項に対するウェイトの重さを表す。 $λ$ が大きいほど $β_k$ をゼロにする力が大きい。また通常は定数項の $α$ がなくなるように変形する。

lasso推定

$p=1$ とした $L_1$ 正則化による推定法をlasso推定といい、(3)を最小化する。
${\begin{eqnarray} \sum_{i=1}^{n} \left( y_i -\sum_{k=1}^{m} β_k φ_k (x_i) \right)^2 + λ \sum_{k=1}^{m} |β_k| \tag{3} \end{eqnarray}}$
係数の推定値のうち多くがゼロとなる。この性質をスパース性という。

リッジ推定

$p=2$ とした $L_2$ 正則化による推定法をリッジ推定といい、(4)を最小化する。
${\begin{eqnarray} \sum_{i=1}^{n} \left( y_i -\sum_{k=1}^{m} β_k φ_k (x_i) \right)^2 + λ \sum_{k=1}^{m} |β_k|^2 \tag{4} \end{eqnarray}}$
(4)の正則化項は $β_k$ によって微分可能であり、線形回帰の最小二乗推定（正規方程式）とさほど変わらない。したがって線形回帰と同様に推定値がゼロになることは少ない。

Elastic Net推定

$0 \leq α \leq 1$ として、(5)を最小化する推定法。
${\begin{eqnarray} \sum_{i=1}^{n} \left( y_i -\sum_{k=1}^{m} β_k φ_k (x_i) \right)^2 + λ \sum_{k=1}^{m} \left(α|β_k| + (1-α)|β_k|^2\right) \tag{5} \end{eqnarray}}$
$α=1$ のときlasso推定、 $α=0$ のときリッジ推定に一致する。