第1章 稳健估计
1.1 稳健估计概述
测量都具有观测误差，观测误差分为三类：一类是具有随机性的偶然误差；一类是带有规律性的系统误差；此外还有粗差（outlier或grosserror），泛指离群的误差。统计学家根据大量观测数据分析指出，在生产实践和科学实验中，粗差出现的概率约占观测总数的。这些少量的粗差会对参数估计结果造成严重的干扰。随着科学技术的进步，人们对测量结果的精度要求越来越高。因此，寻求有效的方法消除或减弱粗差显得越来越重要。
目前，对含粗差观测值的处理主要采用两种方法：其一是将含粗差观测值视为期望异常，用统计检验方法剔除含粗差的观测值后再用最小二乘法进行处理；其二是将含粗差观测值视为方差异常，采用稳健估计方法处理。最早引起重视的是统计检验法，归纳起来是一个辨别、定位和调节改正的过程。其实质是假设观测误差服从均值漂移模型，将粗差归于函数模型处理。当存在多个粗差，且系统结构不佳时，仅仅依靠最小二乘法的残差检测来定位粗差的办法具有很大的局限性。有鉴于此，稳健估计的理论和方法应运而生。
稳健估计（robustestimation）也称抗差估计，是指在粗差不可避免的情况下，选择适当的估计方法，使参数估值尽可能地减免其影响，得出正常模式下的最优或接近最优的参数估值。
早在19世纪初，已有学者提出了减免粗差干扰的估计方法。但直到20世纪五六十年代，随着电子计算机的发展，稳健估计理论和方法的研究才得以深入。Box于1953年首次提出“稳健性”（robustness）的概念。随后，Tukey于1960年提出了污染分布模式。Hub [5]于1964年发表“定位参数的稳健估计”一文，提出了M估计理论。Hampel于196）年提出了影响函数和崩溃点的概念。Holland和界613：11[6]于1977年提出了选权迭代法。Stigerra于同年提出了中位数估计法。之后，Stiger与Bloomfield又提出了估计法（本书中记为法）。HuberHam-pet Rousseeuw和Ler等均对稳健估计进行了卓有成效的研究，并先后发表了有影响力的论著，为稳健估计奠定了理论基础。经过众多数理统计学家不断地开拓和研究，稳健估计理论深入发展，成为应用到众多学科的分支科学。
丹麦的Kramp和Kubik等于1980年将稳健估计理论引入测量界，提出了著名的“丹麦法”由于稳健估计方法能够较好地处理测量数据中含有粗差的问题，大地测量界掀起了稳健估计的研究热潮，产生了大量有价值的研究成果。
1983年，Rousseeuw等提出了最小剪切二乘法（LTS法）。LTS法对杠杆点具有很好的抵抗性，但是计算效率比较低。随后，Rousseeuw[11]等又提出了最小中位数二乘法（LMS法）、S估计法和"估计法。Yohai于1987年提出MM估计法，在保证M估计稳健性的前提下，提高了M估计的计算效率。1989年，周江文[12，13]提出等价权的概念，将M估计最小二乘化，使传统最小二乘法具备了抗差能力，并提出两种有效的估计方案——IGGI方案和IGGII方案。杨元喜[14，15]对等价权原理进行了扩充，提出了IGGIII方案，并且针对相关等价权不对称的问题，构造了双因子方差膨胀模型和双因子等价权模型，导出了各种平差模型的参数抗差估计公式。徐培亮[16]也给出了相关观测的稳健估计方法。刘经南和姚宜斌等[17]提出了基于等价方差-协方差阵的稳健最小二乘估计理论，这种方法不仅可以控制观测异常的影响，而且保持了原有观测的相关性不变。欧吉坤[18]提出了一种三步抗差方案，用分步变常数法提高了参数估值的计算效率。为了控制设计空间误差的影响，提出了杠杆点评估和设计空间抗差的IGGIV方案。徐培亮[19]提出了符号约束的抗差估计。王志忠和朱建军[2e]等研究了适合污染误差模型估计的最优性准则，提出了均方差极小原则下的参数抗差估计。杨元喜[21，22]提出了依据误差分布实际情形的自适应抗差估计和抗差方差分量估计，导出了抗差拟合推估解法。针对病态性与粗差同时存在的问题，Nyquist和Slvapulle提出了基于M估计的抗差岭估计。隋立芬[23，24]对其原理和性质进行了研究，提出了抗差组合主成分估计和抗差单参数主成分估计。归庆明等[25]运用有偏估计的压缩变换方法，提出了压缩型抗差估计。彭军还[26]证明了基于误差方差膨胀模型与基于误差均值漂移模型所得到的无偏估计公式的等价性。估计作为一类重要的抗差估计，也得到了广泛而深入的研究。孙海燕[27]和周世健[28，29]等研究了?m范分布的密度函数，估计的抗差性和效率，误差分布和估计方法之间的关系。周秋生[30]提出了利用线性规划求解估计问题的方法，并且依据线性规划的对偶原理给出了求解问题的实用方法。在动态数据处理方面，杨元喜[31~33]提出了抗差Kalman滤波，分析了多种抗差滤波的理论基础，讨论了抗差自适应滤波解的性质，构建了抗差自系。
1.2最小N乘法原理
1.最小二乘法
最小二乘法，又称最小平方法，是一种数学优化技术。它是通过最小化误差的平方和寻找数据的最佳函数匹配。自Gauss于1809年提出以来，最小二乘法广泛应用于测量及其他科学工程领域。
在测量数据处理中，Gauss-Markov模型是最常见的模型之一。其基本模型是模型（1-1）还可表示为
测量平差中一般将式（1-2）表示为
式（1-3）称为误差方程。上式中，L表示nX1阶观测值矩阵；P（XW）表示观测值L的权阵；Dl表示观测值L的协方差阵表示单位权方差表示观测值L的真误差；V表示观测值L的改正数，是真误的估值表示阶系数矩阵；表示以1阶未知数真值矩阵阶未知数估值矩阵。
按最小二乘法求解Gauss-Markov模型中的参数估值V，即是要求准则函数将对X求导并令其为零，得
将式（1-3）代入得令
则式（1-7）写成
式称为法方程（normalequations），其解为
由式（1-9）求得的参数估值确保了VTPV=min。
将式（1-9）代入式（1-3）得观测值的改正数V和观测值的估值L：
单位权中误差的估值
未知数的协因数阵：
应用最小二乘准则时，并不需要知道观测向量服从何种概率分布，而只需知道它的先验权阵即可！
当P为非对角阵时，表示观测值相关，按VTPV=min进行的平差称为相关观测平差。
当P为对角阵时，表示观测值不相关，此时最小二乘准则可表示为纯量形式，即
特别地，当观测值不相关且等精度时，权阵P为单位阵，此时最小二乘准则可表为
2.最小N乘法
当观测值不相关且等精度时，最/J、?s准则函数为
当N=1时，即为最小一乘法的准则函数：
当N=2时，即为最小二乘法的准则函数：
当N=3时，即为最小三乘法的准则函数：
当N=4时，即为最小四乘法的准则函数：
当尺时，即为最小无穷乘法的准则函数：
3.算例
设有线性方程组
式（1-21）中，方程的数量r=3，未知数的数量n=6。未知数的数量大于方程的数量，所以未知数具有无穷多组解。表1.1列出了N为1、2、3、4和无穷大时式（1-21）未知数（精确到0.1）的部分解。由表1.1可知，当未知数的解精确到0.1时，最小一乘法有31组解（第1-31行），约束条件式（1-16）的值为14.0；最小二乘法有1组解（第32行），约束条件式（1-17）的值为59.0；最小三乘法有1组解（第33行），约束条件式（1-1））的值为214.3；最小四乘法有1组解（第34行），约束条件式（1-19）的值为765.7；最小无穷乘法有25组解（第35!59行），约束条件式（1-20）的值为3.7。
（1）不同的约束条件下未知数的解是不尽相同的。
……
展开
