書記が数学やるだけ#208 最尤推定の簡単な例

最尤推定は，数理統計学を学習する壁と言える。こういうときは計算練習を重ねるのが吉。

問題

まずは1変数の問題から。

説明

最小二乗法にはいろいろと前提条件がある。これを満たさない（と考えられる）場合には，想定するモデルを一般化線形モデルに拡張する必要がある。そのためのパラメータの点推定に，最尤推定が用いられる。

ここで尤度関数を導入する。これは，観測値からパラメータを推定するための度合いを示している。

尤度関数の式は，確率の積で示される。

例として，二項分布について考える。この確立密度関数は，nとpの2つのパラメータにより決定される。

尤度関数を考える際の例として，データ「コインを4回投げて2回表」の時，パラメータ「表が出る確率p」を推測する問題になる（簡略のためnは固定）。

例えばp=0.1とp=0.5でそれぞれ尤度関数を出して比較すると，p=0.5のときの方が尤度関数が大きいことが言える。

尤度関数をプロットしたものがこちら。

最尤推定では，尤度関数を最大にするパラメータを求める。実際の計算では，対数をとると計算が簡単になる（対数尤度）。

解答

確率密度関数の積を変形していく。

定数は最小化問題には無関係なので端にまとめておく。

本記事のもくじはこちら：