淡路(2009)『データ同化』練習問題1.2

前回に引き続き淡路(2009)の練習問題を解いてみました。ベイズ推定における事後確率分布を具体的に求める問題です。

解答例

(1.20)の条件付き確率は(1)のように表すことができる。

$\begin{eqnarray} p(x|x_2) p(x)= \frac{p(x_2|x)p(x)}{\int_{-\infty}^{\infty} p(x_2|x)p(x)dx} \tag{1} \end{eqnarray}$

(1.20)の分子を、2変数が正規分布に従う場合の条件付き密度関数を使って表すことができる。

分子の確率密度関数は

$\begin{eqnarray} p(x_2|x)= \frac{1}{\sqrt{2πσ^2_2}} \exp\left(-\frac{1}{2} \frac{(x_2-x)^2}{σ^2_2} \right) \tag{2} \end{eqnarray}$

$\begin{eqnarray} p(x)= \frac{1}{\sqrt{2πσ^2_1}} \exp\left(-\frac{1}{2} \frac{(x-x_1)^2}{σ^2_1} \right) \tag{3} \end{eqnarray}$

(1)の分子は(2),(3)を用いて、

$\begin{eqnarray} p(x_2|x)p(x) &=& \frac{1}{2πσ_{1}σ_{2}} \exp\left\{ -\frac{1}{2} \left(\frac{1}{σ^2_1}+\frac{1}{σ^2_2} \right) \left(x- \left( \frac{σ^2_{2} x_1 + σ^2_{1} x_2}{σ^2_2 + σ^1_2} \right)^2 \right) \right\} \exp \left\{-\frac{1}{2} \left(\frac{1}{σ^2_1}+\frac{1}{σ^2_2} \right) \frac{σ^2_{1} σ^2_{1}}{(σ^2_2 + σ^2_1)^2} (x_1 - x_2)^2 \right\} \\ &\propto& \frac{1}{2πσ_{1}σ_{2}} \exp\left\{ -\frac{1}{2} \left(\frac{1}{σ^2_1}+\frac{1}{σ^2_2} \right) \left(x- \left( \frac{σ^2_{2} x_1 + σ^2_{1} x_2}{σ^2_2 + σ^1_2} \right)^2 \right) \right\} \tag{4} \end{eqnarray}$

(4)の2つ目の指数関数は $x_1,x_2$ とパラメータのみから構成される定数であり、 $x$ の関数を考えるときは無視する。

(1),(4)より(1)の分母は

$\begin{eqnarray} \int_{-\infty}^{\infty} p(x_2|x)p(x)dx &=& \int_{-\infty}^{\infty} \frac{1}{2πσ_{1}σ_{2}} \exp\left\{ -\frac{1}{2} \left(\frac{1}{σ^2_1}+\frac{1}{σ^2_2} \right) \left(x- \left( \frac{σ^2_{2} x_1 + σ^2_{1} x_2}{σ^2_2 + σ^1_2} \right)^2 \right) \right\} dx \\ &=& \frac{1}{2πσ_{1}σ_{2}} \int_{-\infty}^{\infty} \exp\left\{ -\frac{1}{2} \left(\frac{1}{σ^2_1}+\frac{1}{σ^2_2} \right) \left(x- \left( \frac{σ^2_{2} x_1 + σ^2_{1} x_2}{σ^2_2 + σ^1_2} \right)^2 \right) \right\} dx \tag{5} \end{eqnarray}$

ガウス積分の公式(6)を用いて

$\begin{eqnarray} \int_{-\infty}^{\infty} \exp(-a x^2) = \sqrt{\frac{π}{a}} \tag{6} \end{eqnarray}$

(5)の最後の式は以下のように表せる。

$\begin{eqnarray} \frac{1}{2πσ_{1}σ_{2}} \frac{\sqrt{π}}{\sqrt{\frac{1}{2} \left(\frac{σ^2_1+σ^2_2}{σ^2_{1}σ^2_{2}}\right)}} \tag{7} \end{eqnarray}$

(4),(7)より

$\begin{eqnarray} p(x_2|x)p(x) &=& \frac{1}{\sqrt{2π\frac{σ^2_{1}σ^2_{2}}{σ^2_1+σ^2_2}}} \exp\left\{ -\frac{1}{2} \left(\frac{σ^2_1+σ^2_2}{σ^2_1 σ^2_2} \right) \left(x- \left( \frac{σ^2_{2} x_1 + σ^2_{1} x_2}{σ^2_2 + σ^1_2} \right)^2 \right) \right\} \tag{8} \end{eqnarray}$

(8)は平均 $\frac{σ^2_{2} x_1 + σ^2_{1} x_2}{σ^2_2 + σ^1_2}$ 、分散 $\frac{σ^2_{1}σ^2_{2}}{σ^2_1+σ^2_2}$ の正規分布の密度関数と同じ形になることが分かる。これで(1.20)の式を導出できる。