第5章 有限闭区间上连续型随机变量的信息熵
本章研究连续型随机变量的两种熵——相对熵和绝对熵，5.1节突破传统的标准分析关于无穷大的看法，研究定义在一个有限区间内的离散型随机变量的概率的积分表示，将其与连续性随即变量加以统一，5.2节研究闭区间上连续型随机变量的两种信息熵——相对熵和绝对熵；5.3节研究闭区间上连续型随机变量的两种熵的不等式。
5.1 有限区间内连续型随机变量的概率的积分表示
本书研究连续博弈的信息熵理论，1996年，Mendez—Naya研究了一类连续博弈∽当两个局中人的纯策略空间都不是紧集时，这个博弈在纯策略意义下和策略混合扩张意义下可能都没有博弈值，但当两个局中人的纯策略集合都是实空间的紧集时，连续博弈在混合扩充意义下必有博弈值，因此，仅考虑两个局中人的纯策略集合都是实空间的紧集的情况。
在一般的信息论[10]中，一般研究3种情况：第一种情况是闭区间[a，b]上连续型随机变量的熵，第二种情况是半无限区间[a，+∞），第三种情况是无限区间（-∞，+∞），根据上述分析，我们对第一种情况感兴趣。
按照传统关于无穷大的观点，无法把离散型随机变量和连续型随机变量加以统一，因此，也就无法研究关于连续型随机变量的信息熵的最小取值问题，为了解决这个悬而未决的问题，必须打破所谓标准分析关于无穷大的粗略看法。
为了使读者对本章所用无穷大思想的来历有所了解，我们先回顾微积分的创立历程，无穷小和无穷大首先由Leibniz所引入，但是由于当时无穷小概念自相矛盾——有时不看作零，有时又看作零，所以那时的微积分从数学基础上讲非常不坚固，后来由于Cauchy，Weierstrass等的努力，建立了微积分中的一些基本概念的高度严格体系，回避了无穷小和无穷大的概念，美国数学家、逻辑学家Robinson于1960年开创了一门新兴的数学学科——非标准分析，Robinson利用现代数理逻辑的概念和方法证明了实数结构R可以扩张为包含无穷小与无穷大的结构*R[11，12]，在一定意义下*R与R具有相同的性质，更确切地说，他用模型论的方法给出了包括经典数学分析（又称分析学，标准分析）在内的R的完全理论的非标准模型*R，它使Leibniz的无穷小和无穷大问题得到圆满的解决。
展开
