第1章预备知识
　　本章介绍本书后面各章节用到的一些随机变量收敛定义、记号以及它们之间的关系，若干基本判别准则定义以及其他定理和不等式。
　　1.1随机变量收敛性
　　考虑随机变量序列和随机变量X。下面分别介绍几种收敛定义：依分布收敛、依概率收敛、几乎处处收敛、完全收敛以及r阶矩收敛。
　　定义1.1（依分布收敛）记Xn的分布函数为Fn，X的分布函数为F。如果对于F的任意连续点x，极限均成立，则称随机变量序列Xn依分布收敛或弱收敛于随机变量X，记作。
　　定义1.2（依概率收敛）如果对于任意ε>0，均成立，则称随机变量序列Xn依概率收敛于随机变量X，记作。
　　定义1.3（几乎处处收敛）如果
　　则称随机变量序列Xn几乎处处收敛于随机变量X，记作。
　　定义1.4（完全收敛）如果对于任意。
　　则称随机变量序列Xn完全收敛于随机变量X，记作。
　　定义1.5（r阶矩收敛）设r>0，如果
　　则称随机变量序列Xn以r阶矩收敛于随机变量X，记作Xn时，也称为均方收敛。
　　上述收敛满足如下递推关系：
　　对于随机变量序列Xn和常数集合an，如果Xn/an依概率收敛于0，则记。
　　如果Xn/an随机有界（即对于任意ε>0，存在有限M>0和有限N>0，使得对于任意n>N，有，则记。
　　1.2基本判别准则
　　本节介绍在非参数函数估计中常用的若干基本判别准则。记未知函数为f（x），给定一组独立同分布样本后，假设计算得到未知函数估计为。由偏差和方差的定义可知，的偏差和方差分别为
　　需要引入指标来评估估计的质量。对于任一固定的x，可将f（x）视为待估参数θ，常用的评价指标是均方误差。
　　定义1.6（均方误差）对于未知的参数θ，其估计.θ的均方误差（mean squared error，MSE）定义为。
　　通过简单证明可得，估计量的均方误差等于估计量的方差与偏差平方之和。对于未知函数估计，在单点x处估计函数.fn（x）的均方误差可写成如下形式：
　　均方误差反映了在点x处，估计与f（x）的平均偏离程度。
　　从单点出发，进一步考虑全局的情况。下面分别介绍积分平方误差（integrated squared error，ISE）和平均积分平方误差（mean integrated squared error，MISE）。
　　定义1.7（积分平方误差）对于未知的函数，其估计的积分平方误差定义为
　　定义1.8（平均积分平方误差）对于未知的函数，其估计的平均积分平方误差定义为。
　　平均积分平方误差反映了密度估计与在整个定义域上的全部平均偏离程度。给出性能评估指标后，就可以通过比较各估计对应的指标数值来选择更优的估计。
　　1.3定理和不等式
　　本节列出一些在后续章节中常用的定理和不等式。
　　引理1.1（Borel-Cantelli引理）考虑随机事件序列，记。
　　（1）如果
　　（2）如果
　　下面介绍经典中心极限定理及收敛速度定理。
　　定理1.1（中心极限定理）设是一个独立同分布的随机变量序列，如果，则对于任意实数，有。
　　其中，Φ为标准正态随机变量的累积分布函数。
　　定理1.2（Esseen定理）设F（x）和G（x）分别是R1上的有界不减和有界变差函数，且。记。
　　那么对任意正数T，当时有
　　其中，为仅与b有关的正常数，可取为方程的根。
　　定理1.3（Berry-Esseen不等式）设是一个独立随机变量序列。那么存在正常数A，使得。
　　下面列出若干不等式，方便后续使用时进行查阅。
　　（1）马尔科夫（Markov）不等式：若X是非负随机变量，则对于任意。
　　（2）切比雪夫（Chebyshev）不等式：对于随机变量，则对于任意。
　　（3）赫尔德（H.lder）不等式：对于随机变量X和Y，若并且
　　（4）柯西–施瓦茨（Cauchy-Schwarz）不等式：对于随机变量X和Y。
　　（5）闵可夫斯基（Minkowski）不等式：对于随机变量X和Y，若p>1，则。
　　（6）詹森（Jensen）不等式：对于随机变量X，设g是凸函数，则。
　　第2章非参数密度估计
　　本章主要讨论随机变量的密度函数f（x）的估计问题，即给定一组独立同分布的样本，如何估计f（x）概率密度函数是统计学中的核心概念之一，可以通过密度函数得到对应随机变量的分布情况，同时可以解决很多实际问题，如参数估计、假设检验等。由于对密度函数的信息知之甚少，只能假设其为满足一定光滑条件的一个未知函数f（x），因而需要借助非参数密度估计方法估计f（x）。本章将介绍一元随机变量的非参数密度估计的直方图方法、光滑的核估计方法，多元随机变量的核密度估计，以及这些估计的大样本性质和相关技术。
　　2.1简单的一元密度估计
　随机变量的概率密度函数（probabilitydensity function，PDF）是其累积分布函数（cumulative distribution function，CDF）的一阶导数，因此可以考虑通过估计分布函数F（x）的一阶导数来估计密度函数f（x）。随机变量的分布函数的一个简单且有效的估计是其经验分布函数。
　　定义2.1（经验分布函数）给定一组独立同分布的样本，则其经验分布函数定义为
　　其中，是示性函数。
　　通过简单证明可以知道，经验分布函数Fn（x）是F（x）的无偏估计。下面不加证明地给出经验分布函数的一些常用的渐近性质。
　　定理2.1（1）对于任意给定的；
　　（2）
　　（3）
　　（4）

目录　
第1章　预备知识　1　
1.1　随机变量收敛性　1　
1.2　基本判别准则　2　
1.3　定理和不等式　3　
第2章　非参数密度估计　6　
2.1　简单的一元密度估计　6　
2.1.1　直方图估计　7　
2.1.2　选择带宽　10　
2.1.3　交叉验证　11　
2.2　更光滑的一元密度估计　12　
2.2.1　核密度估计　12　
2.2.2　选择带宽　17　
2.2.3　选择核函数　18　
2.2.4　两种带宽选择方法　20　
2.2.5　边界偏差　21　
2.3　多元密度估计　24　
2.3.1　多元直方图估计　24　
2.3.2　多元核密度估计　25　
第3章　核回归、局部多项式回归　27　
3.1　参数回归回顾.27　
3.1.1　线性回归　27　
3.1.2　逻辑斯谛回归　28　
3.2　线性光滑　29　
3.3　核回归方法　30　
3.4　局部多项式回归　34　
3.4.1　局部多项式回归估计　34　
3.4.2　偏差和方差　36　
3.4.3　等价核和渐近正态性　37　
3.4.4　自动边界校正　39
3.4.5　带宽选择　40　
3.4.6　多项式阶数选择　41　
3.4.7　*小*大有效性　42　
第4章　局部多项式估计的其他方面　44　
4.1　多元回归　44　
4.1.1　可加模型　45　
4.1.2　变系数模型　46　
4.1.3　部分线性模型　48　
4.1.4　单指标模型　49　
4.1.5　交互　50　
4.2　稳健回归　52　
4.2.1　局部加权回归散点平滑法　52　
4.2.2　稳健损失　54　
第5章　B-样条回归　57　
5.1　B-样条基函数简介　57　
5.2　单变量非参数回归的B-样条估计　61　
5.3　非参数、半参数回归模型的B-样条回归　64　
5.3.1　可加模型　64　
5.3.2　变系数模型　66　
5.3.3　部分线性模型　68　
5.3.4　单指标模型　69　
第6章　分位数回归　72　
6.1　分位数回归简介　72　
6.2　分位数回归的计算　75　
6.3　分位数回归的基本理论　79　
6.4　分位数回归模型中的推断　81　
6.4.1　Wald型检验　81　
6.4.2　秩得分检验　83　
6.4.3　基于bootstrap方法的检验　84　
6.5　非参数分位数回归　86　
第7章　经验似然初步　89　
7.1　参数似然　89　
7.2　总体均值参数的经验似然　91　
7.2.1　定义　91　
7.2.2　截面似然（μ）的另一个表达式　92
7.2.3　点估计　93　
7.2.4　区间估计和假设检验　93　
7.3　经验似然的计算　94　
7.3.1　牛顿法　95　
7.3.2　一维情形　95　
7.3.3　近似法　96　
7.4　几点注释　96　
第8章　经验似然的渐近理论与一般估计方程　100　
8.1　总体均值经验似然比的渐近性质　100　
8.2　经验似然比在有定义时的极限分布　102　
8.3　一般估计方程（GEE）参数的经验似然　106　
8.4　GEE模型参数的*大经验似然估计　108　
8.5　GEE模型下的经验似然比检验　114　
8.6　利用辅助信息　115　
第9章　经验似然的其他方面　116　
9.1　密度比模型下的经验似然　116　
9.2　密度比模型下的*大经验似然估计　118　
9.3　DRM-EL估计量的渐近分布和效率分析　119　
9.4　一般的非参数似然　121　
9.5　经验似然的Bartlett修正　122　
9.6　两个定理的证明　124　
9.6.1　定理9.1的证明　124　
9.6.2　定理9.2的证明　127　
参考文献　128