第1章 绪论
1.1 信息论的诞生
1.2 通信系统的一般模型
1.3 香农信息
1.4 习题
第2章 信息的统计度量
2.1 负对数：不确定性与信息量的桥梁
2.2 自信息量与条件自信息量
2.2.1 自信息量
2.2.2 条件自信息量
2.3 互信息量与条件互信息量
2.3.1 互信息量
2.3.2 条件互信息量
2.3.3 互信息量的性质
2.4 熵与条件熵
2.4.1 信息熵
2.4.2 条件熵
2.4.3 各类熵的关系
2.5 信息熵的性质
2.5.1 严格上凸性
2.5.2 非负性
2.5.3 扩展性
2.5.4 对称性
2.6 平均互信息量
2.6.1 基本概念
2.6.2 与各类熵的等式关系
2.6.3 应用：文本分类
2.7 平均互信息量的性质
2.7.1 上凸性
2.7.2 下凸性
2.7.3 互易性
2.7.4 极值性
2.7.5 非负性
2.8 习题
2.9 仿真实验
2.9.1 通信系统的信息变化
2.9.2 信息的凸性
第3章 离散信源
3.1 离散信源模型
3.2 平均符号熵
3.2.1 基本概念
3.2.2 变化机理
3.3 无记忆平稳信源
3.3.1 基本特点
3.3.2 平均符号熵
3.4 有记忆平稳信源
3.4.1 平稳性与条件熵
3.4.2 记忆性与条件熵
3.4.3 平均符号熵
3.5 马尔可夫信源
3.5.1 状态
3.5.2 状态转移
3.5.3 齐次性与遍历性
3.5.4 平稳分布
3.5.5 极限熵
3.6 习题
3.7 仿真实验
3.7.1 平稳信源的信息输出规律
3.7.2 马尔可夫信源的信息输出规律
第4章 无失真信源编码
4.1 信源编码
4.2 分组码
4.2.1 非奇异码
4.2.2 唯一可译码
4.2.3 即时码
4.2.4 码树
4.3 无失真信源编码定理
4.3.1 平均码长
4.3.2 编码问题
4.3.3 扩展信源编码
4.4 霍夫曼编码
4.4.1 最佳二元码树
4.4.2 二元霍夫曼编码
4.4.3 r元霍夫曼编码
4.5 习题
4.6 仿真实验
4.6.1 基于霍夫曼编码的文本数据压缩
4.6.2 基于霍夫曼编码的图像压缩
第5章 离散信道
5.1 离散信道模型
5.1.1 离散信道矩阵
5.1.2 离散无记忆信道的平均互信息量
5.1.3 离散有记忆信道的平均互信息量
5.2 信道容量
5.2.1 基本概念
5.2.2 通用确定方法
5.3 准对称无记忆信道
5.3.1 基本概念
5.3.2 平均互信息量
5.3.3 信道容量
5.4 独立级联信道
5.4.1 基本概念
5.4.2 平均互信息量
5.4.3 信息不增定理
5.4.4 最佳级联
5.5 独立并联信道
5.5.1 基本概念
5.5.2 平均互信息量
5.5.3 信道容量
5.6 习题
5.7 仿真实验
5.7.1 信源记忆性对信息传输性能的影响
5.7.2 级联信道的信息传输特性
第6章 有噪信道编码
6.1 有噪信道译码方法
6.1.1 译码规则
6.1.2 平均错误概率
6.1.3 最大似然译码准则
6.1.4 汉明距离与信道译码
6.2 有噪信道编码方法
6.2.1 简单重复编码
6.2.2 (n,k)线性编码
6.2.3 编码方法对比
6.3 有噪信道编码定理
6.3.1 打字机信道
6.3.2 随机编码
6.3.3 联合典型序列译码
6.3.4 有噪信道编码定理概述
6.4 习题
6.5 仿真实验
6.5.1 通信系统的“可靠性”与“有效性”
6.5.2 有噪信道编码与最佳信道译码
附录
附录A 等式证明之“无中生有”
附录B 不等式证明之“对数函数线性化”
附录C 联合熵的链式关系
附录D 条件熵的不增性
附录E 齐次遍历马尔可夫信源的收敛性
附录F 克拉夫特-麦克米伦不等式
附录G 香农编码
附录H 费诺编码
附录I 高斯信道容量
附录J 信息不增定理
附录K 和信道
附录L 费诺不等式
附录M 典型序列
附录N 联合典型序列
附录O 有噪信道编码定理
附录P 有噪信道编码逆定理
展开
