《通信原理》:
第3章 信息的度量
信息是可以度量的,可度量性是信息的基本属性之一,度量信息的量就称为信息量。单符号离散信源是一种最简单而又最具有代表性的信源,我们从它的直观属性入手,分析一个随机出现的事件所携带的信息量,进而得到度量信息的数学方法,使它能够准确地描述所传输的消息。
3.1 度量信息的思路
假设用一个单符号离散信源X={x1,x2,…,xN}表示上海地区7月份的天气预报。设x1为最大可能的事件,例如,白天气温为28~32℃;xN为最小可能的事件,例如,白天气温在15℃以下。
第一,从直观的角度看,出现极端天气比出现常态天气带给人们的冲击会更大一些,即事件xN的出现比事件x1的出现所携带的信息量更大。由此可以合理推断信源输出的信息量应该是输出事件的概率的减函数。
第二,根据常识,气温的微小波动不会引起所传递信息量的急剧改变,这说明信息量应该是信源输出事件的概率的连续函数。
第三,假设信源事件xi能够分解成独立的几个部分,例如,假设某天的天气预报xi由气象xi1、气温xi2、风向xi3、污染指数xi4等4个部分构成,即xl={xi1,xi2,xi3,xi4}。假设这4个部分彼此独立无关,则出现随机事件xi所给出的信息量直觉上应当是分别出现xi1、xi2、xi3、xi4所得到的信息量的和。
此外,信源输出事件xi所包含的信息量只与它出现的概率有关,而与它的取值无关。例如,在扔硬币实验中,正面记为0,反面记为1,正面朝上或反面朝上的概率都是1/2,则它们包含的信息量相同,而与取值是1或0无关。
……
展开