書記が数学やるだけ#721 マルコフ情報源に関する計算

マルコフ情報源について，無記憶情報源値と比較して説明する。

参考：

問題

説明

マルコフ情報源では，過去の状態により現在の状態が決まる。ここで発生エントロピーは条件付きエントロピーとして記述できる。

解答

状態遷移図は過去に何度も扱ってきた。

マルコフ情報源における正規性は，「全ての記号が満遍なく出力される・周期性がない・初期状態によらない」ことを示す。これは状態遷移行列のn乗が，全て正成分であることと同値である。

正規マルコフ情報源については定常分布は以下の式で簡単に求められる。

発生エントロピーの計算について，各記号の条件付きエントロピーを計算して最後に足す。

定常状態を発生確率とする情報源を随伴情報源という。

本記事のもくじはこちら：