書記が数学やるだけ#445 KL情報量の計算
KL情報量の具体例をいくつか見ていく。
問題
説明
カルバック・ライブラー情報量（KL情報量）は，ざっくりいうと確率分布の形の近さを表す。
解答
最初はコイン投げで考えるとわかりやすい。
具体的な分布についての計算例。
特に重要なのがボルツマンエントロピーとの関連である。
スターリングの公式を用いることで目当ての式が得られる。
本記事のもくじはこちら：
KL情報量の具体例をいくつか見ていく。
カルバック・ライブラー情報量（KL情報量）は，ざっくりいうと確率分布の形の近さを表す。
最初はコイン投げで考えるとわかりやすい。
具体的な分布についての計算例。
特に重要なのがボルツマンエントロピーとの関連である。
スターリングの公式を用いることで目当ての式が得られる。
本記事のもくじはこちら：
