Goodな生活

INTPの好奇心の受け皿

【統計検定1級・過去問】統計数理(2019年11月 問5)

[1]ラプラス分布の期待値と分散

期待値は、

 {\begin{eqnarray}
E[μ] &=& \int_{-\infty}^{\infty} x \frac{λ}{2} e^{-λ|x-ξ|} dx 
\tag{1}
\end{eqnarray}}

x-ξ = uと変数変換を行うと、

 {\begin{eqnarray}
E[μ] &=& \int_{-\infty}^{\infty} (ξ+u) \frac{λ}{2} e^{-λ|u|} du \\
          &=& ξ \frac{λ}{2} \int_{-\infty}^{\infty} e^{-λ|u|}du + \frac{λ}{2} \int_{-\infty}^{\infty} ue^{-λ|u|}du \\
          &=& ξ
\tag{2}
\end{eqnarray}}

と表すことができる。(2)では、

 {\begin{eqnarray}
\frac{λ}{2} \int_{-\infty}^{\infty} e^{-λ|u|}du &=& \frac{λ}{2} 2 \int_{0}^{\infty} e^{-λ|u|}du \\
          &=& λ ・\frac{1}{λ} \\
          &=& 1
\tag{3}
\end{eqnarray}}

および奇関数の性質(原点で対称であるため定積分はゼロ)を用いている。

 {\begin{eqnarray}
\int_{-\infty}^{\infty} ue^{-λ|u|}du &=& 0 \\
\tag{4}
\end{eqnarray}}

分散は、

 {\begin{eqnarray}
V[μ] &=& E[(μ - ξ)^2] \\
          &=& \int_{-\infty}^{\infty}  (x-ξ)^2 \frac{λ}{2} e^{-λ|x-ξ|} dx \\
          &=&  \int_{-\infty}^{\infty}  u^2 \frac{λ}{2} e^{-λ|u|} du \\
          &=& \frac{λ}{2} \int_{0}^{+\infty} u^2・e^{-λ|u|} du \\
          &=& λ  \int_{0}^{+\infty} u^2・e^{-λ|u|} du \\
          &=& λ  \int_{0}^{+\infty} \left(\frac{u}{λ}\right)^2・e^{-u}・\frac{du}{λ} \\
          &=& \frac{1}{λ^2}Γ(3) \\
          &=& \frac{2}{λ^2}
\tag{5}
\end{eqnarray}}

[2]事後確率密度関数

 {\begin{eqnarray}
g(μ)f(\vec{y}|μ) &=& g(μ|\vec{y})f(\vec{y})
\tag{6}
\end{eqnarray}}

 {\begin{eqnarray}
g(μ|\vec{y}) &=& \frac{g(μ)f(\vec{y}|μ)}{f(\vec{y})} 
\tag{7}
\end{eqnarray}}

ここで、
 {\begin{eqnarray}
g(μ)f(\vec{y}|μ) &=& \frac{λ}{2}・e^{-λ|μ-ξ|}・\frac{1}{(\sqrt{2π})^n}・e^{-\frac{1}{2}(y_1 -μ)^2}\cdots e^{-\frac{1}{2}(y_n - μ)^2} 
\tag{8}
\end{eqnarray}}

を(7)に代入すると、

 {\begin{eqnarray}
g(μ|\vec{y}) &=& \frac{λ}{2}・\frac{1}{(\sqrt{2π})^n}・e^{-λ|μ-ξ|}・e^{-\frac{n}{2}(μ-\bar{y})^2 + \frac{1}{2}(n(\bar{y})^2 - (y_1^{2} + \cdots + y_n^{2}))} \\
                   &=& \frac{λ}{2}・\frac{1}{(\sqrt{2π})^n}・e^{-λ|μ-ξ|}・e^{-\frac{n}{2}(μ-\bar{y})^2 + \frac{n}{2}((\vec{y_i})^2-(\bar{y})^2) }\\
                   &=& \frac{λ}{2}・\frac{1}{(\sqrt{2π})^n}・e^{-λ|μ-ξ|}・e^{-\frac{n}{2}(μ-\bar{y})^2 + \frac{n}{2}・S_y^2 }
\tag{9}
\end{eqnarray}}

S_y^2y_iの分散を表す。

[3]事後確率密度関数

以下の損失関数の最小値を求めればよい。

 {\begin{eqnarray}
h(μ) &=& \frac{n}{2}(μ-\bar{y})^2 + λ(μ-ξ)  
\tag{10}
\end{eqnarray}}

(10)より、h(μ)
\bar{y} \geq ξ のとき、μ \geq ξで最小値をとる
\bar{y} \leq ξ のとき、μ \leq ξで最小値をとる
\bar{y} = ξ のとき、μ = ξで最小値をとる。\cdots ア

  • \bar{y} \geq ξのとき、

 {\begin{eqnarray}
h(μ) &=& \frac{n}{2}(μ-\bar{y})^2 + λ(μ-ξ)  \\
       &=&  \frac{n}{2}(μ^2 - 2\bar{y}μ + \bar{y}^2) + λμ - λξ \\
       &=&  \frac{n}{2} μ^2 + (-n\bar{y} + λ)μ + \frac{n}{2} \bar{y^2} - λ ξ \\
       &=& \frac{n}{2} (μ + \frac{1}{n}(-n\bar{y} + λ))^2 - \frac{n}{2} \left\{\frac{1}{n}(-n\bar{y}+λ) \right\}^2 + \frac{n}{2}|\bar{y}|^2 - λξ\\
       &=& \frac{n}{2} (μ-(\bar{y}-\frac{λ}{n}))^2 + λ(\bar{y} - ξ) - \frac{λ^2}{2n} 
\tag{11}
\end{eqnarray}}

したがって、h(μ)
\bar{y} - \frac{λ}{n} \geq ξ のとき、μ = \bar{y} - \frac{λ}{n}で最小値\min λ|\bar{y} - ξ| - \frac{λ^2}{2n}
\bar{y} - \frac{λ}{n} \leq ξ のとき、μ = ξで最小値\min \frac{λ}{2}|ξ - \bar{y}|^2

つまり最小値をとるμ = \hat{μ}は、\hat{μ} = \max\left( \bar{y}-\frac{λ}{n},ξ\right) \cdots イ

  • \bar{y} \leq ξのとき、(11)の式展開と同様に、

 {\begin{eqnarray}
h(μ)  &=& \frac{n}{2} (μ+ \frac{1}{n}( -n\bar{y}-λ ))^2 + λ(\bar{y} + ξ) - \frac{λ^2}{2n} 
\tag{12}
\end{eqnarray}}

したがって、h(μ)
\bar{y} + \frac{λ}{n} \leq ξ のとき、μ = \bar{y}+\frac{λ}{n}で最小値をとる
\bar{y} + \frac{λ}{n} \geq ξ のとき、μ = ξで最小値をとる

つまり最小値をとるμ = \hat{μ}は、\hat{μ} = \min \left( \bar{y}+\frac{λ}{n},ξ\right) \cdots ウ

ア、イ、ウより、

\begin{eqnarray}
\hat{μ} &=& 
\left\{\begin{array}{l}
\max \left(\bar{y} - \frac{λ}{n},ξ \right) & if & \bar{y} \geq ξ \\
ξ & if & \bar{y} = ξ \\
\min \left(\bar{y} + \frac{λ}{n},ξ\right) & if & \bar{y} \leq ξ \\
\end{array} \tag{13}
\right. \\
\end{eqnarray} 

[4]事前分布の想定によるベイズ推定

事後分布に基づく推定値は、最尤推定値\bar{y}に比べ、事前分布の平均値ξに近づく。\bar{y}がかなりξに近い場合には、\bar{y}によらず推定値が事前分布の推定値ξとなる。

グラフ

作成中