書記が数学やるだけ#754 通信路容量，シャノンの通信路符号化定理

通信路符号化法についていくつか扱ってみる。

問題

説明

通信路とは送信側と受信側を結ぶ経路であり，通信路容量は通信路を介して確実に伝送できる情報の量の上限である。

シャノンの通信路符号化定理は，通信路の雑音のレベルがどのように与えられたとしても，その通信路を介して計算上の最大値までほぼエラーのない離散データを送信することが可能であることを示した定理で，1948年にクロード・シャノンによって定式化された。

解答

まずは2元対称通信路について。情報量H(B)と条件付き情報量H(B|A)から相互情報量I(A;B)を求め，それが最大となるrを求めることで通信路容量が求められる。

2元消失通信路について，これはある確率で情報が消失してしまうモデルで現実でも起こりうるものである。

Z型通信路は0は必ず0のままであるモデルである。この場合は一般に通信路容量は決まらないので，p=1/2と固定した例を示す。

通信路符号化定理について，直観的な証明を今井『情報理論』をもとに示しておく。

実際の証明には信頼性関数を定義する必要がある。

本記事のもくじはこちら：