書記が数学やるだけ#720 さまざまな情報量

2つの情報源との間における情報量をいくつか調べてみる。

問題

説明

条件付き確率や同時確率に対応して，条件付きエントロピーや同時エントロピーが定義できる。

解答

同時エントロピーの等式について，条件付き確率の計算を確認しておく。

同時エントロピーの不等式について。

これより「条件付きエントロピー，平均エントロピー，同時エントロピー」という大小関係が示される。

サイコロの目が5以上かそうでないかわかっているときに出る目の条件付きエントロピーを求めてみる。

この計算から，事前情報によりエントロピーが減少することが言える。

本記事のもくじはこちら：