はじめに
この記事ではマルコフ連鎖(Markov chain)を扱います。統計検定準1級の出題範囲表の一部です。
大項目 | 中項目 | 項目(学習しておくべき用語)例 |
---|---|---|
マルコフ連鎖と確率過程の基礎 | マルコフ連鎖 | 推移確率、既約性、再帰性、定常分布 |
だいたいこれくらいの範囲を簡単にカバーできればokとします。
目次
マルコフ連鎖
確率変数がとる値の集合を状態空間(state space)といい、その要素を状態(state)と呼びます。状態
に対して確率
は 、
で
を満たします。ここで
に対して、
を仮定します。(1)(2)を満たす確率過程を(離散)マルコフ連鎖(Markov chain)と呼びます*1。
(1)は状態から状態
に移る確率が
で与えられており、
を推移確率(transition probability)と呼びます。(2)は推移確率が直前の状態(
)のみに依存し、過去の履歴(
)に依存しないことを意味します。過去の履歴が直前の状態に集約される、とも言えます。この性質をマルコフ性(Markov property)と呼びます。このマルコフ性によって、(2)の同時分布は(1)の推移確率と初期分布(
)が与えられれば計算することが可能です。
推移確率行列
成分が
からなる行列を推移確率行列(transition probability matrix)と呼びます。第
成分が
で他は
からなるベクトルを
とすると、
回の推移によって状態
から状態
に推移する確率は、
と表されます。
の場合、推移確率行列は、
ただしです。
が2つの値
だけをとる、つまり
の場合、推移確率行列は、
ただしを満たします。
既約性
状態に対して
となる正の整数
がとれるとき、
から
へ到達可能であるといい、
と表します。
と
を入れ替えても成立するとき、
と
は相互到達可能であるといい、
と表します。
任意の状態が相互到達可能であるとき、マルコフ連鎖は既約(irreducible)である、といいます。
再帰性
マルコフ連鎖では、ある状態が繰り返し出現することがあります。となる整数
の最大公約数を状態
の周期(period)と呼び、
と定義します。そのような
が存在しないときは
です。
のときつまり周期が
のとき、状態
は非周期的(aperiodic)であり、
のとき状態
は周期的(periodic)です。すべての状態が非周期的であるときマルコフ連鎖は非周期的となります。
マルコフ連鎖の中には、繰り返し実現する確率が1、つまり同じ状態に必ず戻るものがあります。必ず戻ることを再帰的(reccurent)だと呼びます。再帰性を定義するため、次の2つの記号を導入します。
(6)は状態から出発して
回目に状態
に到着する確率を表します。ただし途中で何回でも
に到着しても問題ありません。これに対して(7)は、状態
から出発して
回目で初めて状態
に到着する確率です。さらに次の確率を導入します。
これは状態を出発していつかは状態
に到着する確率を表します。したがって、
は
から出発していつかは
に戻ってくる全確率です。
を使って、再帰性を定義すると、
となります。
定常分布
十分に長い時間が経過したとき、マルコフ連鎖の状態の確率分布はどのようになるのでしょうか。
を
なる確率分布とします。任意の
に対して
が成立するとき、
をマルコフ連鎖の定常分布(stationary distribution)と言います。
時点で定常分布
に至ったと仮定します。すなわち任意の
に対して、
です。このとき、
となり、以降はすべて定常分布になります。
これを行列で表します。推移行列がのマルコフ連鎖が時点
に状態
にある確率を
として、
と表します。(10)の状態では、次の漸化式
が成立していることになります。初期分布から
回の推移を繰り返すと考えると、
を無限大に大きくして
が一定値に近づくとき、
が成立します。したがって、
が成立します。もちろんは
、
を満たします。(14)厳密には既約なマルコフ連鎖が正再帰的で非周期的という条件が必要ですが、ここでは省略します。
(13)は漸化式を使って求めることができます。定常分布自体は分かりやすい考え方ですが、計算ミスなく定常分布ベクトルを導出できるかどうかが問題ですね。
読んでいただいてありがとうございました。
参考文献
![日本統計学会公式認定 統計検定 1級・準1級 公式問題集[2018〜2019年] 日本統計学会公式認定 統計検定 1級・準1級 公式問題集[2018〜2019年]](https://m.media-amazon.com/images/I/51GLGHCDh7L.jpg)
日本統計学会公式認定 統計検定 1級・準1級 公式問題集[2018〜2019年]
- 発売日: 2020/03/11
- メディア: 単行本(ソフトカバー)
東京理科大学・木村先生のスライドが大変参考になりました。
https://www.rs.noda.tus.ac.jp/skimura/AppMath3/AppMathIII-7.pdf

- 作者:達也, 久保川
- 発売日: 2017/04/07
- メディア: 単行本

- 作者:藤田 岳彦
- 発売日: 2010/04/09
- メディア: 単行本