《目标跟踪前沿理论与应用》：
第1章 概率与统计理论基础
对某个信号进行滤波，即试图从被噪声污染的量测值中获取有用的信号。为了做到这一点，需要清楚什么是噪声、噪声的特点和工作方式。本章回顾了概率理论，1.1节介绍概率与条件概率的基本概念，1.2节介绍全概率公式和贝叶斯公式，1.3节介绍随机变量及其函数变换，随后本章讨论的内容如下。
（1）本书不但可以使用数值型的向量，而且可以使用随机变量型的向量，在1.4节中将重点讨论随机向量。
（2）在1.5节中将讨论随时间变化的随机变量（随机过程）。
（3）噪声可以分为两种：白噪声和有色噪声。在1.6节将讨论这些概念。
（4）1.7节对整章内容进行了总结。
由于篇幅有限，本章对概率论和随机过程知识进行简要介绍和总结，这部分内容主要来自文献[1]和文献[2]。如果读者对细节感兴趣，也可以参考其他相关书籍[3-5]。
1.1 概率与条件概率
设想已经进行了确定次数的某个试验，有时事件A发生，而有时不发生。例如，试验是掷一个六面的骰子，事件A表示骰子数字4的面朝上，事件A发生的概率是1/6。同样地，如果重复进行多次试验，可以发现数字1朝上的次数大约占总次数的1/6。这种直觉为概率的严格定义奠定了基础。定义事件A的概率为
（1.1）
这种对概率的常识性理解称为相对频率。在20世纪30年代，Andrey Kolomogorov最先在集合论的基础上建立了一个更加规范的概率定义，但在这里，相对频率的定义已经足够了。
注意，一般来说，知道从n个对象中选取k个对象一共有 种不同的方法（假设对象的选取没有顺序），这里 定义为
（1.2）
例如，假设有1美分的硬币（P），一个5美分的硬币（N）、一个10美分的硬币（D）和一个25美分的硬币（Q）。从这一套硬币中拾取3个硬币一共有多少种情况呢？共有PND、PNQ、PDQ或者NDQ 4种可能情况，这等价于 。
例1.1 一口袋装有6只球，其中4只白球、2只红球。从袋中取球两次，每次随机地取一只（第一次取一只球，观察颜色后放回袋中），求取到的两只球都是白球的 概率。
解 以事件A表示事件“取到的两只球都是白球”。第一次从袋中取球有6只球可供抽取，第二次也有6只球可供抽取，一共有36种取法。第一次有4只白球可供抽取，第二次也有4只白球可供抽取，一共有16种取法。于是有
（1.3）
如果事件B发生的概率不为零，则可以定义在事件B发生的条件下事件A发生的条件概率。在事件B发生的条件下，事件A发生的条件概率定义为
（1.4）
表示在事件B发生的前提下事件A发生的条件概率。 表示事件A和事
件B的联合概率，也就是事件A和事件B同时发生的概率。一个独立事件发生的概率
（如 或者 ）称做先验概率，因为它是不涉及之前任何信息的独立事件的概率。条件概率（如 ）称做后验概率，因为它是相关事件B的某种信息已知的条件下事件A的概率。
例如，假设事件A表示骰子朝上面显示的数字是4，事件B表示骰子朝上面显示的
数字是偶数， 。但是如果已知骰子朝上面显示的数字是偶数，那么
（因为这个偶数可能是2、4或6）。这个例子是直观的，通过式（1.4）也可以得到同样
的答案。 表示事件A（骰子数字4朝上）和事件B（骰子偶数朝上）同时发生的概率，所以 。于是通过式（1.4）得到
（1.5）
事件A的先验概率为1/6，而在事件B发生的条件下事件A的后验概率为1/3。
1.2 全概率公式与贝叶斯公式
下面建立两个用来计算概率的重要公式，为此，先介绍样本空间划分的定义。
定义1.1 设S为试验E的样本空间， 为E的一组事件。若满足 ① ② 则称 为样本空间S的一个划分。若 为样本空间的一个划分，那么对每次试验，事件 必有一个且仅有一个发生。
例如，假设试验E为“投掷一颗骰子观察其点数”。它的样本空间为 ，E的一组事件 ， ， 是S的一个划分。而事件组 ， ， 不是S的一个划分。
定理1.1 假设试验E的样本空间为S，A为E的事件， 为S的一个划分，且 ，则
（1.6）
式（1.6）称为全概率公式。
证明 因为 且由于假设 且 ，可以得到
证毕。
另一个重要的公式是下述的贝叶斯公式。
定理1.2 假设试验E的样本空间为S，A为E的事件， 为S的一个划分，且 ，则
（1.7）
式（1.7）称为贝叶斯公式。
证明 由条件概率的定义和全概率公式，容易得到
证毕。
例1.2 某电子设备制造厂所用的元件是由三家元件制造厂提供的。根据以往的记录有以下的数据，如表1.1所示。
表1.1 元件记录数据
元件制造厂 次品率 提供元件的份额
1 0.02 0.15
2 0.01 0.80
3 0.03 0.05
设这三家工厂的产品在仓库中是均匀混合的，且无区别的标志。
（1）在仓库中随机取一只元件，求它是次品的概率。
（2）在仓库中随机取一只元件，若已经知道取到的是次品，为分析此次品出自何厂，需求出此次品由三家工厂生产的概率分别是多少，试求这些概率。
解 设A表示“取到的是一只次品”， 表示“所取到的产品是由第i家工厂提供的”。易知B1，B2，B3为样本空间的S的一个划分，由全概率公式，可得
由贝叶斯公式得
以上结果表明，此次品来自第二家工厂的可能性最大。
1.3 随机变量及其函数变换
随机变量定义为一系列试验输出（域）到一个实数集合（范围）的函数映射。例如，投掷骰子可以看做一个随机变量，将骰子上的数字1映射为输出1，骰子上的数字2映射为输出2，以此类推。
当然，投掷完骰子后，骰子朝上的数字不再是一个随机变量，它变成确定的数。一次特定的试验结果不再是一个随机变量。如果定义X为一个表示投掷骰子的随机变量，那么X为4的概率为1/6。如果投掷骰子为4，这个4为这个随机变量的一次实现。如果再投掷一次骰子为3，这个3为这个随机变量的另一次实现。然而，随机变量X独立于它的任何实现。随机变量和其实现之间的区别对于概率概念的理解非常重要。一个随机变量的实现和这个随机变量本身不是等价的。当X=4的概率为1/6时，也就是说有1/6的概率X的实现为4。随机变量X是随机的，永远不会是一个具体的数。
随机变量可以是连续的或者离散的。投掷骰子是一个离散的随机变量，因为它的实现是一系列离散值。明天的最高温度是个连续随机变量，因为它的实现是连续值。
……
展开
