第=篇贝叶斯分析基础
第1章Bayes统计推断
1.1先验分布与后验分布
近几十年以来，统计学中的Bayes学派有了重大的发展，如今已成为与经典学派并驾齐驱的两大统计学派之J.Bayes统计得名于英国学者T。Bayes，Bayes统计的理论与方法由其论文Anessaytowardsolvingaprobleminthedoctrineofchances发展而成。
经典统计的出发点是根据样本在=定的统计模型下作jLI_I统计推断。本章假设统计模型为参数统计模型，在取得样本观测值x前，往往对参数统计模型中的参数θ有某些先验知识；在数学上，关于θ的先验知识的数学描述就是先验分布.Bayes统计的主要特点就是使用先验分布，而在得到样本观测值x=(x1，x2， ，xn)T后，由x与先验分布提供的信息，得到后验分布。这=后验分布综合了样本与先验信息，组成较完整的后验信息，是Bayes统计推断的基础。经典统计对样本量较大的样本，有较好的统计推断效果。Bayes推断由于利用了先验知识，因而对小样本=般也有较好的统计推断效果。
1.1.1Bayes统计模型
设事件Ai，Ap， ，A。构成互不相容的事件完备组，概率论中酌Bayes公式为
P(A，B)=P(BlA，)P(Ax)(1.1.1)∑P(BlA，)P(A，)j=l
这时，先验信息以{P(A，)；j=1，2， ，”）这=概率分布给出，即先验分布。由于事件B的发生，可以对Ai，A：， ，A，。发生的概率重新估计，以后验分布{P(A。B)；i=1，2， ，”）体现出来，Bayes公式反映了先验分布向后验分布的转化。下面通过=例说明Bayes统计推断的特征。
例1.1.1设有金、银、铜三种盒子，其中金盒5个，银盒4个，铜盒3个。每个盒子里放了红、黄、蓝、白四种球，个数为金盒：红7θ，黄2θ，蓝8，白2；银盒：红1θ，黄75，蓝3，白12；铜盒：红5，黄12，蓝8θ，白3。从这12个盒子中随机抽=个盒子，再从这=个盒子里随机地抽=个球。问：如何从抽m的球的颜色推断它所来白的盒子的材料。
解利用Bayes公式(1.1.1)，求得
P（金红）=7θ/81，P（银红）=8/81，P（铜红）=3181
P（金黄）=25／1θ9，P（银黄）=75／1θ9，P（铜黄）=9／1θ9
P（金蓝）=1θ／73，P（银蓝）=3／73，P（铜蓝）=6θ／73
P（金白）=1θ155，P（银白）=36155，P（铜白）=9155
利用上述计算结果可对上述问题作统计推断。比如，若取到的球为黄色，从后验分布
P（金黄）=25／1θ9，P（银黄）=75／1θ9，P（铜黄）=9／1θ9
可以看出，P（银黄）=75／1θ9最大。故应作下列推断：“黄=银”，即取到黄球应推断盒子为银。同理，可作下列推断：
“红→金”；“蓝→铜”；“白→银”
在例1.1.1中，可引进参数θ与样本X.θ是盒子材料所对应的数，如令：
9（金）=1，θ（银）=2，θ（铜）-3，参数空间@={1，2，3）。又设X是球的颜色所对应的数，如令：X（红）=1，X（黄）=2，X（蓝）-3，X（白）=4。样本空间N={1，2，3，4）。上述问题归结为由样本X推断θ，这符合=般统计推断问题的提法。但此例中θ是随机变量，且知道了θ的分布，即
P(θ=1)=5／12，P(θ=2)=4／12，P(θ=3)～3／12
因为参数θ为随机变量，所以本例中的样本分布族为条件概率分布
{P（xθ：θ∈@））。依上述，有
{P(12)，P(21)，P(311)，P(411)}={7θ／1θθ，2θ／1θθ，8／1θθ，2／1θθ)
{P(112)，P(22)，Pc312)，P(412)}={1θ／1θθ，75／1θθ，3／1θθ，12／1θθ)
{P(113)，P(23)，P(313)，P(413))={5／1θθ，12／1θθ，8θ／1θθ，3／1θθ)
设a为θ的估计量，按上述符号，有
θ(1)=1，θ(2)=2，θ(3)=3，θ(4)=2
例1.1.1体现了Bayes统计模型的思想。现在阐述Bayes参数统计模型。首先，Bayes参数统计模型中的参数θ是参数空间@上的随机变量，它的概率分布称为参数θ的先验分布。又因θ是随机变量，因此参数统计模型中，样本X=(X1，X2， ，Xn)’的分布族，即样本分布族应理解为条件分布族{F（rlθ）：θ∈@}。在连续型或离散型两种情况，样本分布族皆可以表为条件密度函数族，其中，（rlθ）为样本密度函数。
定义1.1.1(1)参数θ的参教空间@上的=个概率分布称为θ的先验分布，其（连续或离散）密度记为{丌(θ)：θ∈@）。
(2)样本X=(X。，X：， ，X。)’的条件密度函数{，’（zθ）：θ∈@}（连续或离散）称为样本分布族。
(3)先验分布{丌（θ）：θ∈@}与样本分布族{f’（rlθ）：θ∈@）构成Bayes参数统计模型。
Bayes统计模型的特点是将参数θ视为随机变量，并具有先验分布丌（θ）。将θ视为随机变量，在很多场合是合理的。如某厂某产品的废品率p，在较长期间会有=些随机波动。若有相当长的逐日废品频率记录，就可以确定p的先验分布。而在有些情况下，将参数θ看成随机变量似乎是不白然的。如要估计某个范围内确定的铁矿含铁百分率。此时θ为=个未知常数，这时可以根据已开采的类似铁矿的经验选择=个θ的先验分布.Bayes学派与经典学派的分歧主要是关于参数的认识上的分歧，经典学派视θ为未知常数，Bayes学派则视θ为随机变量且具有先验分布，两个学派分歧的根源在于对于概率的理解。经典学派视概率为事件大量独立重复试验频率的稳定值；而Bayes学派则视θ为主观概率，将事件的概率理解为认识主体对事件发生的相信程度，当然对于可以独立重复试验的事件，概率仍可视为频率稳定值。显然，将θ视为随机变量且具有先验分布具有实际意义，能拓广统计学应用的范围。
1.1.2后验分布
给定了Bayes参数统计模型，即给定了先验分布{丌（θ）：θ∈@）与样本分布族{f（xθ）：θ∈@）。这里，丌（θ）也视为密度函数（连续或离散）。给定了这样的Bayes绕计模型，就可以确定(θ，X)的联合分布。以θ，X皆为连续型分布说明。这时（θ，X）的联合密度函数为，
(rlθ)7（θ）(1.1.2)
又X的边缘密度函数为
q(x)=（xθ）dθ(1.1.3)
由此可见，样本分布与θ有关，而边缘分布(1.1.3)式是样本分布按先验分布的“平均”，与θ无关。有了的联合分布与X的边缘分布，可以求得已知X=r的条件下θ的分布。在X=x时，θ的条件密度函数为(1.1.4)式也称为Bayes公式，当θ，X为各种类型的分布时，可得到各种情况下的Bayes公式。例如，当X为连续型，θ为离散型时，有，可看出(1.1.4)，(1.1.5)式的分母只与x有关，而与θ无关。反映了得到样本观测值x后（即X=x），θ取各种可能值概率大小的新认识，称为θ的后验分布称为后验密度函数。
定义1.1.2在X=r的条件下，θ的条件分布称为θ的后验分布，后验分布由后验密度函数{h（θ1/），θ∈@）描述。
后验分布的意义在于综合了关于θ的先验信息
展开
