作者:(英)罗杰斯、吉罗拉米 译者:郭茂祖、王春宇、刘扬、刘晓燕
<br />&nbsp;&nbsp;&nbsp;&nbsp;Simon&nbsp;Rogers英国格拉斯哥大学计算机科学学院讲师，主讲硕士生的机器学习课程。Rogers博士是机器学习领域的一位活跃研究者，研究兴趣包括代谢组学数据分析和概率机器学习技术在人机交互领域的应用。
<br />&nbsp;&nbsp;&nbsp;&nbsp;Mark&nbsp;Girolami英国伦敦大学学院(UCL)统计系主任和计算机科学系荣誉教授，并担任计算统计学和机器学习研究中心主任。他还是英国统计协会研究组成员，英国工程和科学研究委员会高级研究员，英国工程技术学会会员，爱丁堡皇家学会院士。

　　1．5  泛化与过拟合
　　1．4节提出了1阶与8阶多项式哪个更好的问题。假定原来建立这些模型的目的是做预测，那么不难理解最好的模型就是可以使预测最精确的那个，即可以泛化训练样本以外数据的模型（例如，到2008年的奥运会数据）。理想情况下，我们更喜欢选择在不可见数据上性能最好的模型（即最小化损失），但是由于问题本身的原因，数据无法得到。
　　图1-10表明，可应用训练数据上的损失选择用于预测的模型。曲线显示训练数据上8阶多项式拟合男子100米数据的损失比1阶多项式更低。而8阶多项式对于未来奥运会的预测非常糟糕。基于8阶多项式的模型过于关注训练数据（过拟合），因此不能很好地泛化新数据。由于模型越来越复杂，所以也越来越逼近可观测数据。不幸的是，当超过某点，预测的质量就会迅速退化。为了克服过拟合，能够很好地泛化，确定最优模型的复杂度将会非常有挑战性。这个折中问题经常被认为是偏置一方差平衡，将在2．8节中简单地介绍。
　　1．5．1  验证数据
　　克服过拟合问题的一般方法是使用第二个数据集，即验证集。用验证集来验证模型的预测性能。验证数据可以单独提供或者从原始训练集中拿出一部分。例如，在100米数据中，可以从训练集中拿出1980年以后的所有奥运会数据作为验证集。为了进行模型选择，可以在缩小的训练集上训练每一个模型，然后计算它们在验证集上的损失。图1-12a、b依次给出了训练和（10g）验证损失的曲线。训练损失随着多项式阶（模型复杂度）的增加单调递减。而验证损失随着多项式阶的增加而快速增长，这表明1阶多项式有最好的泛化能力，能够产生最可靠的预测。很容易测试这个假设。在图113中，可以看到数据集（已标记的训练集和验证集）与1阶、4阶和8阶多项式函数（MATLAB脚本：olympval．m）。1979年已经执行了这个任务，很明显1阶模型的确能够给出最好的预测。
　　……

出版者的话
译者序
前言
第1章  线性建模：最小二乘法
1.1  线性建模
1.1.1  定义模型
1.1.2  模型假设
1.1.3  定义什么是好的模型
1.1.4  最小二乘解：一个有效的例子
1.1.5  有效的例子
1.1.6  奥运会数据的最小二乘拟合
1.1.7  小结
1.2  预测
1.2.1  第二个奥运会数据集
1.2.2  小结
1.3  向量/矩阵符号
1.3.1  例子
1.3.2  数值的例子
1.3.3  预测
1.3.4  小结
1.4  线性模型的非线性响应
1.5  泛化与过拟合
1.5.1  验证数据
1.5.2  交叉验证
1.5.3  K折交叉验证的计算缩放
1.6  正则化最小二乘法
1.7  练习
其他阅读材料
第2章  线性建模：最大似然方法
2.1  误差作为噪声
2.2  随机变量和概率
2.2.1  随机变量
2.2.2  概率和概率分布
2.2.3  概率的加法
2.2.4  条件概率
2.2.5  联合概率
2.2.6  边缘化
2.2.7  贝叶斯规则介绍
2.2.8  期望值
2.3  常见的离散分布
2.3.1  伯努利分布
2.3.2  二项分布
2.3.3  多项分布
2.4  连续型随机变量--概率密度函数
2.5  常见的连续概率密度函数
2.5.1  均匀密度函数
2.5.2  β密度函数
2.5.3  高斯密度函数
2.5.4  多元高斯
2.5.5  小结
2.6  产生式的考虑（续）
2.7  似然估计
2.7.1  数据集的似然值
2.7.2  最大似然
2.7.3  最大似然解的特点
2.7.4  最大似然法适用于复杂模型
2.8  偏差方差平衡问题
2.9  噪声对参数估计的影响
2.9.1  参数估计的不确定性
2.9.2  与实验数据比较
2.9.3  模型参数的变异性--奥运会数据
2.10  预测值的变异性
2.10.1  预测值的变异性--一个例子
2.10.2  估计值的期望值
2.10.3  小结
2.11  练习
其他阅读材料
第3章  机器学习的贝叶斯方法
3.1  硬币游戏
3.1.1  计算正面朝上的次数
3.1.2  贝叶斯方法
3.2  精确的后验
3.3  三个场景
3.3.1  没有先验知识
3.3.2  公平的投币
3.3.3  有偏的投币
3.3.4  三个场景--总结
3.3.5  增加更多的数据
3.4  边缘似然估计
3.5  超参数
3.6  图模型
3.7  奥运会100米数据的贝叶斯处理实例
3.7.1  模型
3.7.2  似然估计
3.7.3  先验概率
3.7.4  后验概率
3.7.5  1阶多项式
3.7.6  预测
3.8  边缘似然估计用于多项式模型阶的选择
3.9  小结
3.10  练习
其他阅读材料
第4章  贝叶斯推理
4.1  非共轭模型
4.2  二值响应
4.3  点估计：最大后验估计方案
4.4  拉普拉斯近似
4.4.1  拉普拉斯近似实例：近似γ密度
4.4.2  二值响应模型的拉普拉斯近似
4.5  抽样技术
4.5.1  玩飞镖游戏
4.5.2  Metropolis-Hastings算法
4.5.3  抽样的艺术
4.6  小结
4.7  练习
其他阅读材料
第5章  分类
5.1  一般问题
5.2  概率分类器
5.2.1  贝叶斯分类器
5.2.2  逻辑回归
5.3  非概率分类器
5.3.1  K近邻算法
5.3.2  支持向量机和其他核方法
5.3.3  小结
5.4  评价分类器的性能
5.4.1  准确率--0/1损失
5.4.2  敏感性和特异性
5.4.3  ROC曲线下的区域
5.4.4  混淆矩阵
5.5  判别式和产生式分类器
5.6  小结
5.7  练习
其他阅读材料
第6章  聚类分析
6.1  一般问题
6.2  K均值聚类
6.2.1  聚类数目的选择
6.2.2  K均值的不足之处
6.2.3  核化K均值
6.2.4  小结
6.3  混合模型
6.3.1  生成过程
6.3.2  混合模型似然函数
6.3.3  EM算法
6.3.4  例子
6.3.5  EM寻找局部最优
6.3.6  组分数目的选择
6.3.7  混合组分的其他形式
6.3.8  用EM估计MAP
6.3.9  贝叶斯混合模型
6.4  小结
6.5  练习
其他阅读材料
第7章  主成分分析与隐变量模型
7.1  一般问题
7.2  主成分分析
7.2.1  选择D
7.2.2  PCA的局限性
7.3  隐变量模型
7.3.1  隐变量模型中的混合模型
7.3.2  小结
7.4  变分贝叶斯
7.4.1  选择Q（θ）
7.4.2  优化边界
7.5  PCA的概率模型
7.5.1  Qτ（τ）
7.5.2  Qxn（xn）
7.5.3  Qwn（wm）
7.5.4  期望值要求
7.5.5  算法
7.5.6  例子
7.6  缺失值
7.6.1  缺失值作为隐变量
7.6.2  预测缺失值
7.7  非实值数据
7.7.1  概率PPCA
7.7.2  议会数据可视化
7.8  小结
7.9  练习
其他阅读材料
词汇表
索引