杨晓萍：博士，吉林大学通信工程学院教授，吉林省通信学会会员。承担的主要科研、教学项目有：“控制系统的分析和综合”，国家杰出青年科学基金，2008.1-2011.12，第1主要参加人； “高速公路车辆智能驾驶中的关键科学问题研究”，国家自然科学基金重大计划重点项目，2009.1-2012.12，子项目负责人；“电机、电器及可编程序控制器理论与实践教程”，吉林大学（九五规划教材立项），负责人； “《信息论》课程建设”，吉林大学研究生核心课程建设项目，2010.6-2012.5，负责人。同时还承担本科和研究生的教学任务。已出版教材３部，发表论文数篇。

本书系统讲述了信息论及编码的基础理论和方法，主要包括离散信源及熵、离散信道及信道容量、离散信源编码与香农**定理、离散信道与香农第二定理、连续信源与连续信道、率失真函数、香农第三定理等。采用较多的通信和信息系统相关的背景例题和图示阐述基本概念，注重编码理论、编码方法的实现过程的教学内容编写，给出重要算法的实现流程图，并附有编程算法的实现程序，便于读者对课程的理解和应用。

目    录
第1章  绪论 1
1．1  信息的概念 1
1．2  信息论的研究对象、目的和内容 3
1．2．1  研究对象 3
1．2．2  研究目的 5
1．2．3  研究内容 5
第2章  信息的测度 7
2．1  自信息 7
2．2  平均自信息 9
2．2．1  平均自信息的概念 9
2．2．2  熵的物理意义 10
2．3  熵函数的性质 11
2．3．1  对称性 12
2．3．2  确定性 12
2．3．3  非负性 13
2．3．4  扩展性 13
2．3．5  连续性 13
2．3．6  可加性 13
2．3．7  强可加性 14
2．3．8  极值性 15
2．3．9  上凸性 16
2．4  互信息和平均互信息 16
2．4．1  互信息 16
2．4．2  平均互信息 17
2．4．3  平均互信息的性质 19
2．4．4  平均条件互信息 21
思考题 21
习题 22
第3章  离散信源熵 24
3．1  信源分类及数学模型 24
3．1．1  离散信源 24
3．1．2  连续信源 25
3．1．3  信源分类 25
3．2  离散信源熵的计算 26
3．3  离散无记忆扩展信源 27
3．4  离散平稳信源 30
3．4．1  离散平稳信源的数学定义 30
3．4．2  二维离散平稳信源及其信息熵 31
3．4．3  离散平稳信源的极限熵 34
3．5  马尔可夫信源 35
3．5．1  马尔可夫信源的定义 36
3．5．2  马尔可夫信源的熵 38
3．6  信源的相关性和剩余度 39
3．6．1  实际离散信源的不同模型近似过程 40
3．6．2  信源剩余度 40
思考题 42
习题 42
第4章  离散信道及信道容量 44
4．1  信道模型及其分类 44
4．1．1  信道模型 44
4．1．2  信道分类 45
4．2  离散单符号信道及其信道容量 46
4．2．1  离散单符号信道的数学模型 46
4．2．2  离散信道各种概率间的关系式 47
4．2．3  信道中平均互信息的物理意义 47
4．2．4  信道中条件熵的物理意义 48
4．2．5  信道容量的概念 49
4．2．6  几种特殊信道的信道容量 50
4．2．7  离散对称信道的信道容量 52
4．2．8  利用信道容量定理求解信道容量 55
4．3  离散多符号信道及其信道容量 57
4．3．1  离散多符号信道的数学模型 57
4．3．2  离散多符号信道的信道容量 58
4．4  组合信道及其信道容量 60
4．4．1  独立并联信道 60
4．4．2  级联信道 61
4．5  信源与信道的匹配和信道剩余度 62
思考题 63
习题 63
第5章  无失真信源编码 66
5．1  信源编码的一般概念 66
5．1．1  编码器的构成 66
5．1．2  常用信源编码的概念 67
5．1．3  即时码的树图构造法 71
5．2  定长码和定长信源编码定理 73
5．2．1  定长码 73
5．2．2  定长编码定理 74
5．2．3  编码效率 75
5．3  变长码和变长信源编码定理 77
5．3．1  克拉夫特（Kraft）不等式 77
5．3．2  唯一可译变长码的判别方法 78
5．3．3  平均码长 81
5．3．4  信源变长编码定理 82
5．3．5  无失真变长信源编码定理 83
5．3．6  编码效率 84
5．4  典型的变长编码方法 86
5．4．1  香农码 86
5．4．2  霍夫曼码 87
5．4．3  费诺码 93
5．4．4  香农-费诺-埃利斯码 95
思考题 97
习题 98
第6章  有噪信道编码 101
6．1  信道编码的一般概念 101
6．1．1  编码信道 101
6．1．2  信道编码的概念 102
6．1．3  差错控制的基本方式 102
6．2  信道译码的选取规则 104
6．2．1  影响平均错误概率的因素 105
6．2．2  译码规则的选取准则 105
6．2．3  费诺不等式 108
6．3  信道编码的选取规则 110
6．3．1  简单重复编码 110
6．3．2  信道编码的选取 112
6．3．3  （5，2）线性码 113
6．3．4  码的最小距离 115
6．3．5  最小距离译码准则 116
6．4  有噪信道编码定理 117
6．5  纠错码原理 118
6．5．1  检错与纠错原理 119
6．5．2  检错与纠错能力 119
6．6  线性分组码 121
6．6．1  线性分组码的基本概念 121
6．6．2  线性分组码的编码 123
6．6．3  线性分组码的性质 127
6．6．4  线性分组码的译码 129
6．6．5  汉明码 137
思考题 142
习题 142
第7章  连续信源熵和连续信道容量 146
7．1  连续信源的差熵 146
7．1．1  一维连续信源的差熵 146
7．1．2  N维连续信源的差熵 149
7．1．3  典型连续信源的差熵 150
7．2  连续信源最大差熵定理 151
7．2．1  峰值受限条件下连续信源的最大熵 152
7．2．2  平均功率受限条件下连续信源的最大熵 152
7．3  连续信源熵的性质 153
7．3．1  可负性 153
7．3．2  可加性 153
7．3．3  极值性 154
7．3．4  上凸性 154
7．3．5  变换性 154
7．4  连续信道的平均互信息及性质 157
7．4．1  连续信道分类及数学模型 157
7．4．2  连续信道的平均互信息 160
7．4．3  连续信道平均互信息的性质 161
7．5  连续信道的信道容量 164
7．5．1  单符号高斯噪声加性信道 164
7．5．2  多维无记忆高斯噪声加性信道 165
7．5．3  加性高斯白噪声波形信道 169
思考题 171
习题 172
第8章  限失真信源编码 174
8．1  信源失真测度 174
8．1．1  单符号信源失真度 174
8．1．2  信源符号序列失真度 176
8．1．3  平均失真度 177
8．1．4  信源符号序列的平均失真度 178
8．2  信息率失真函数 178
8．2．1  保真度准则 178
8．2．2  信息率失真函数定义 179
8．2．3  信息率失真函数性质 180
8．3  典型率失真函数的计算 185
8．3．1  离散对称信源的R(D)函数 185
8．3．2  连续信源的 R (D ) 函数 188
8．4  限失真信源编码定理 193
思考题 194
习题 194
附录A  Jensen不等式 196
附录B  熵函数的函数表 198
附录C  实验内容和程序 200
C．1  唯一可译码判决准则 200
C．2  Huffman编码 205
C．3  （7，4）线性分组码 210
参考文献 214