統計検定1級の学習メモです。
最尤推定量
確率密度関数をもつ母集団から得られた、
個の標本
に対して、
を尤度関数(likelihood function)*1という。尤度関数を最大にするようなを最尤推定量(maximum likelhood estimator)と呼ぶ。
(1)では因果関係に注意したい。本来は母集団のパラメータありきで確率分布の形が決まり、標本
が生起する。しかし、ここでは標本
が生起したのは、それらが得られる確率が最大だったから、だと考える。得られる確率が最大となるとき、
は
の最大化問題の解となるので、
を満たす。であり、
の解が最尤推定量の候補となる。これらの連立方程式をコンピュータを使って数値的に解く。しかし一般に尤度関数は複雑な形になるため、その対数をとり、
の最適化問題を解く。対数関数は単調増加であるため、(3)を最大にするは同じく(1)を最大にする
である。
クラメール・ラオの不等式と有効推定量
スコア関数とフィッシャー情報量
を確率密度関数
からランダムに抽出された標本とする。簡略化のため
は一次元のパラメータとする。
の同時確率密度関数を
とすると、
と表せる。ここで
をスコア関数とする。スコア関数の2乗の期待値
をフィッシャー情報量という。
フィッシャー情報量の性質
がランダム標本であるとき、
個のフィッシャー情報量は、1個のフィッシャー情報量の
倍になる。
(5)より
つまりが成り立つ。
クラメール・ラオの不等式
大数の法則より、サンプルサイズ(標本数)を大きくしていくと不偏推定量は母パラメータに近づく。推定量の分散が小さければ小さいほど収束が早くなるので望ましい統計量と言える。以下のクラメール・ラオの不等式(Cramer-Rao's Inequality)により、不偏推定量の中で分散の下限が分かり、下限を満たす推定量が最小分散推定量(UMVU:Uniformly minimum variance estimator)となる。
を母集団
の不偏推定量だとすると、以下の不等式が成立する。
不偏推定量の分散には下限が存在し、下限を達成する((1)で等号が成立する)推定量は、有効推定量(つまり最小分散推定量)である。はフィッシャー情報量と呼ばれる。
参考

- 作者:達也, 久保川
- 発売日: 2017/04/07
- メディア: 単行本