書記が数学やるだけ#719 エントロピー（情報量）の導出
今回から情報理論を扱っていく。まずは基本となるエントロピー（情報量）から。
問題
説明
情報理論において，エントロピー（情報量）は不確かさの指標となる。これは後に示すデータ圧縮の評価にも用いることができる。
解答
エントロピーがなぜlogの形かといえば，以下に示す「単調減少・連続関数・加法性」を満たす関数だからである。ここで加法性はコーシーの関数方程式により示されている。
ここでシャノンの補助定理を証明しておく。これにより平均情報量の最小値を見積もることができる。
具体例としてコイン投げを考える。平均情報量を求めると，表50%のときに最大値をとり，段々と減少して表0%では0となることがわかる。これは直感的に，コインが表か裏かの不確実性を反映しているといえる。
本記事のもくじはこちら：
