例にもとづく　情報理論入門

定理の厳密な証明を避け、例題を通じて着実に理解が進むよう配慮。情報系の必須科目の最も平易かつ丁寧な教科書。アルゴリズムや暗号との関連性についても解説。電子・通信・情報工学系学部生向けテキスト。 1　確率論の基礎 　　1．集合 　　2．試行、試行列と事象 　　3．確率と確率空間 　　4．確率変数と確率分布 　　5．平均と分散 　　6．条件付き確率 　　7．確率変数の独立性 　　8．大数の法則 　　9．マルコフ過程 　　10．第1章の演習問題 2　情報源符号化 　　1．情報源のモデルと情報源符号化問題 　　2．情報源符号 　　3．瞬時符号 　　4．クラフトの不等式による瞬時符号の幾何学的特徴付け 　　5．符号空間 　　6．一意的に復号可能な符号 　　7．平均符号長とエントロピー 　　8．情報源符号化定理 　　9．第2章の演習問題 3　いろいろな情報源符号 　　1．ハフマン符号 　　2．コンパクト符号 　　3．マルコフ情報源 　　4．遷移図 　　5．エルゴード的マルコフ情報源 　　6．マルコフ情報源に対する情報源符号化 　　7．ランレングス符号 　　8．情報源符号化とアルゴリズム 　　9．ZL符号 　　10．第3章の演習問題 4　情報量とエントロピー 　　1．情報量 　　2．情報量の従う方程式 　　3．系列の複雑さとプログラムの長さ 　　4．エントロピーの関数としての性質 　　5．条件付きエントロピー 　　6．相互情報量 　　7．第4章の演習問題 5　通信路符号化の限界 　　1．通信のモデル 　　2．通信路容量 　　3．最尤復号化 　　4．2元対称通信路 　　5．2元対称通信路の通信路容量 　　6．2元対称通信路に対する最尤復号化 　　7．平均誤り率 　　8．通信路符号化 　　9．ハミング距離 　　10．通信路符号化定理 　　11．通信路符号化定理の証明のための補題 　　12．第5章の演習問題 6　符号理論 　　1．パリティチェック 　　2．剰余演算 　　3．パリティチェック符号 　　4．長方形符号 　　5