書記が数学やるだけ#446 対数尤度と平均対数尤度のバイアス，TICとAICの導出
KL情報量を起点に，最終的にAICを導出する。
問題
説明
KL情報量を分解することで，平均対数尤度が出てくる。
単に対数尤度のみで推定しようとすると，平均対数尤度とのバイアスが生じる。
これを補正したものがTICやAICである。
解答
バイアスを3つに分けて計算する。
それぞれテイラー展開して式を整理する。
具体例，行列IとJを計算することでTICが求められる。
本記事のもくじはこちら：
KL情報量を起点に，最終的にAICを導出する。
KL情報量を分解することで，平均対数尤度が出てくる。
単に対数尤度のみで推定しようとすると，平均対数尤度とのバイアスが生じる。
これを補正したものがTICやAICである。
バイアスを3つに分けて計算する。
それぞれテイラー展開して式を整理する。
具体例，行列IとJを計算することでTICが求められる。
本記事のもくじはこちら：
