Ethem Alpaydin，土耳其伊斯坦布尔博阿齐奇大学（Bogazi?i University）计算机工程系教授。他于1990年在瑞士洛桑联邦理工学院获博士学位，1991年在加州大学伯克利分校国际计算机研究所（ICS, UC Berkeley）做博士后工作；之后作为访问学者，先后在美国麻省理工学院、加州大学伯克利分校国际计算机研究所、瑞士戴尔莫尔感知人工智能研究所(IDIAP)从事研究工作。他是土耳其科学院院士，IEEE高级会员，牛津大学出版社《The Computer Journal》杂志编委和Elsevier出版社《Pattern Recognition》杂志副主编。 

　　《机器学习导论（原书第2版）》讨论了机器学习在统计学、模式识别、神经网络、人工智能、信号处理等不同领域的应用，其中涵盖了监督学习、贝叶斯决策理论、参数方法、多元方法、多层感知器、局部模型、隐马尔可夫模型、分类算法评估和比较以及增强学习。
　　《机器学习导论（原书第2版）》可供完成计算机程序设计、概率论、微积分和线性代数课程的高年级本科生和研究生使用，也可供对机器学习感兴趣的工程技术人员参考。

　　第1章　绪论
　　1.1　什么是机器学习
　　为了在计算机上解决问题，我们需要算法。算法是指令的序列，它把输入变换成输出。例如，我们可以为排序设计一个算法，输入是数的集合，而输出是它们的有序列表。对于相同的任务可能存在不同的算法，而我们感兴趣的是如何找到需要的指令或内存最少，或者二者都最少的最有效算法。
　　然而，对于某些任务，我们没有算法；例如，我们没有将垃圾邮件与正常邮件分开的算法。我们知道输入是邮件文档，最简单的情况是一份字符文件。我还知道输出应该是指出消息是否为垃圾邮件的“是”或“否”，但是我们不知道如何把这种输入变换成输出。所谓的垃圾邮件随时间而变，因人而异。
　　我们缺乏的是知识，作为补偿我们有数据。我们可以很容易地编辑数以千计的实例消息，其中一些我们知道是垃圾邮件，而我们要做到的是希望从中“学习”垃圾邮件的结构。换言之，我们希望计算机（机器）自动地为这一任务提取算法。不需要学习如何将数排序，因为我们已经有这样的算法；但是，对于许多应用而言，我们确实没有算法，而是有实例数据。
　　随着计算机技术的发展，我们现在已经拥有存储和处理海量数据以及通过计算机网络从远程站点访问数据的能力。目前大多数的数据存取设备都是数字设备，
　　1记录的数据也很可靠。以一家连锁超市为例，它拥有遍布全国各地的数百家分店，并且在为数百万顾客提供数千种商品的零售服务。销售点的终端设备记录每笔交易的详细资料，包括日期、顾客识别码、购买商品和数量、消费总额等。这是典型的每日几个G字节的数据。连锁超市希望能够预测某种产品可能的顾客。对于这一任务，算法同样并非是显然的；它随时间而变，因地域而异。只有分析这些数据，并且将它转换为可以利用的信息时，这些存储的数据才能变得有用，例如做预测。
　　我们并不确切地知道哪些人倾向于购买这种口味的冰淇淋，或者这位作家的下一本书是什么，也不知道谁喜欢看这部新电影、访问这座城市，或点击这一链接。我们不能确切地知道哪些人比较倾向于购买哪种特定的商品，也不知道应该向喜欢读海明威作品的人推荐哪位作者。如果我们知道，我们就不需要任何数据分析；我们只管供货并记录下编码就可以了。但是，正因为我们不知道，所以才只能收集数据，并期望从数据中提取这些问题或相似问题的答案。

　　……

Introduction to Machine Learning,Second Edition
出版者的话
中文版序
译者序
前言
致谢
关于第2版
符号表

第1章　绪论1
1.1　什么是机器学习1
1.2　机器学习的应用实例3
1.2.1　学习关联性3
1.2.2　分类3
1.2.3　回归6
1.2.4　非监督学习7
1.2.5　增强学习8
1.3　注释8
1.4　相关资源10
1.5　习题11
1.6　参考文献12

第2章　监督学习13
2.1　由实例学习类13
2.2　VC维15
2.3　概率逼近正确学习16
2.4　噪声17
2.5　学习多类18
2.6　回归19
2.7　模型选择与泛化21
2.8　监督机器学习算法的维23
2.9　注释24
2.10　习题25
2.11　参考文献25

第3章　贝叶斯决策定理27
3.1　引言27
3.2　分类28
3.3　损失与风险29
3.4　判别式函数31
3.5　效用理论31
3.6　关联规则32
3.7　注释33
3.8　习题33
3.9　参考文献34

第4章　参数方法35
4.1　引言35
4.2　最大似然估计35
4.2.1　伯努利密度36
4.2.2　多项密度36
4.2.3　高斯(正态)密度37
4.3　评价估计：偏倚和方差37
4.4　贝叶斯估计38
4.5　参数分类40
4.6　回归43
4.7　调整模型的复杂度：偏倚/方差两难选择45
4.8　模型选择过程47
4.9　注释50
4.10　习题50
4.11　参考文献51

第5章　多元方法52
5.1　多元数据52
5.2　参数估计52
5.3　缺失值估计53
5.4　多元正态分布54
5.5　多元分类56
5.6　调整复杂度59
5.7　离散特征61
5.8　多元回归62
5.9　注释63
5.10　习题63
5.11　参考文献64

第6章　维度归约65
6.1　引言65
6.2　子集选择65
6.3　主成分分析67
6.4　因子分析71
6.5　多维定标75
6.6　线性判别分析77
6.7　等距特征映射80
6.8　局部线性嵌入81
6.9　注释83
6.10　习题84
6.11　参考文献85

第7章　聚类86
7.1　引言86
7.2　混合密度86
7.3　k-均值聚类87
7.4　期望最大化算法90
7.5　潜在变量混合模型93
7.6　聚类后的监督学习94
7.7　层次聚类95
7.8　选择簇个数96
7.9　注释96
7.10　习题97
7.11　参考文献97

第8章　非参数方法99
8.1　引言99
8.2　非参数密度估计99
8.2.1　直方图估计100
8.2.2　核估计101
8.2.3　k最近邻估计102
8.3　到多元数据的推广103
8.4　非参数分类104
8.5　精简的最近邻105
8.6　非参数回归：光滑模型106
8.6.1　移动均值光滑106
8.6.2　核光滑108
8.6.3　移动线光滑108
8.7　如何选择光滑参数109
8.8　注释110
8.9　习题111
8.10　参考文献112

第9章　决策树113
9.1　引言113
9.2　单变量树114
9.2.1　分类树114
9.2.2　回归树118
9.3　剪枝119
9.4　由决策树提取规则120
9.5　由数据学习规则121
9.6　多变量树124
9.7　注释125
9.8　习题126
9.9　参考文献127

第10章　线性判别式129
10.1　引言129
10.2　推广线性模型130
10.3　线性判别式的几何意义131
10.3.1　两类问题131
10.3.2　多类问题132
10.4　逐对分离132
10.5　参数判别式的进一步讨论133
10.6　梯度下降135
10.7　逻辑斯谛判别式135
10.7.1　两类问题135
10.7.2　多类问题138
10.8　回归判别式141
10.9　注释142
10.10　习题143
10.11　参考文献143

第11章　多层感知器144
11.1　引言144
11.1.1　理解人脑144
11.1.2　神经网络作为并行处理的典范145
11.2　感知器146
11.3　训练感知器148
11.4　学习布尔函数150
11.5　多层感知器151
11.6　作为普适近似的MLP153
11.7　后向传播算法154
11.7.1　非线性回归154
11.7.2　两类判别式157
11.7.3　多类判别式158
11.7.4　多个隐藏层158
11.8　训练过程158
11.8.1　改善收敛性158
11.8.2　过分训练159
11.8.3　构造网络161
11.8.4　线索162
11.9　调整网络规模163
11.10　学习的贝叶斯观点164
11.11　维度归约165
11.12　学习时间167
11.12.1　时间延迟神经网络167
11.12.2　递归网络168
11.13　注释169
11.14　习题170
11.15　参考文献170

第12章　局部模型173
12.1　引言173
12.2　竞争学习173
12.2.1　在线k-均值173
12.2.2　自适应共鸣理论176
12.2.3　自组织映射177
12.3　径向基函数178
12.4　结合基于规则的知识182
12.5　规范化基函数182
12.6　竞争的基函数184
12.7　学习向量量化186
12.8　混合专家模型186
12.8.1　协同专家模型188
12.8.2　竞争专家模型188
12.9　层次混合专家模型189
12.10　注释189
12.11　习题190
12.12　参考文献190

第13章　核机器192
13.1　引言192
13.2　最佳分离超平面193
13.3　不可分情况：软边缘超平面195
13.4　v-SVM197
13.5　核技巧198
13.6　向量核199
13.7　定义核200
13.8　多核学习201
13.9　多类核机器202
13.10　用于回归的核机器203
13.11　一类核机器206
13.12　核维度归约208
13.13　注释209
13.14　习题209
13.15　参考文献210

第14章　贝叶斯估计212
14.1　引言212
14.2　分布参数的估计213
14.2.1　离散变量213
14.2.2　连续变量215
14.3　函数参数的贝叶斯估计216
14.3.1　回归216
14.3.2　基函数或核函数的使用218
14.3.3　贝叶斯分类219
14.4　高斯过程221
14.5　注释223
14.6　习题224
14.7　参考文献224

第15章　隐马尔可夫模型225
15.1　引言225
15.2　离散马尔可夫过程225
15.3　隐马尔可夫模型227
15.4　HMM的三个基本问题229
15.5　估值问题229
15.6　寻找状态序列231
15.7　学习模型参数233
15.8　连续观测235
15.9　带输入的HMM236
15.10　HMM中的模型选择236
15.11　注释237
15.12　习题238
15.13　参考文献239

第16章　图方法240
16.1　引言240
16.2　条件独立的典型情况241
16.3　图模型实例245
16.3.1　朴素贝叶斯分类245
16.3.2　隐马尔可夫模型246
16.3.3　线性回归248
16.4　d-分离248
16.5　信念传播249
16.5.1　链249
16.5.2　树250
16.5.3　多树251
16.5.4　结树252
16.6　无向图：马尔可夫随机场253
16.7　学习图模型的结构254
16.8　影响图255
16.9　注释255
16.10　习题256
16.11　参考文献256

第17章　组合多学习器258
17.1　基本原理258
17.2　产生有差异的学习器258
17.3　模型组合方案260
17.4　投票法261
17.5　纠错输出码263
17.6　装袋265
17.7　提升265
17.8　重温混合专家模型267
17.9　层叠泛化268
17.10　调整系综268
17.11　级联269
17.12　注释270
17.13　习题271
17.14　参考文献272

第18章　增强学习275
18.1　引言275
18.2　单状态情况：K臂赌博机问题276
18.3　增强学习基础277
18.4　基于模型的学习278
18.4.1　价值迭代279
18.4.2　策略迭代279
18.5　时间差分学习280
18.5.1　探索策略280
18.5.2　确定性奖励和动作280
18.5.3　非确定性奖励和动作282
18.5.4　资格迹283
18.6　推广285
18.7　部分可观测状态286
18.7.1　场景286
18.7.2　例子：老虎问题287
18.8　注释290
18.9　习题291
18.10　参考文献292

第19章　机器学习实验的设计与分析294
19.1　引言294
19.2　因素、响应和实验策略296
19.3　响应面设计297
19.4　随机化、重复和阻止298
19.5　机器学习实验指南298
19.6　交叉验证和再抽样方法300
19.6.1　K-折交叉验证300
19.6.2　5×2交叉验证301
19.6.3　自助法302
19.7　度量分类器的性能302
19.8　区间估计304
19.9　假设检验307
19.10　评估分类算法的性能308
19.10.1　二项检验308
19.10.2　近似正态检验309
19.10.3　t检验309
19.11　比较两个分类算法309
19.11.1　McNemar检验310
19.11.2　K-折交叉验证配对t检验310
19.11.3　5×2交叉验证配对t检验311
19.11.4　5×2交叉验证配对F检验311
19.12　比较多个算法：方差分析312
19.13　在多个数据集上比较315
19.13.1　比较两个算法315
19.13.2　比较多个算法317
19.14　注释317
19.15　习题318
19.16　参考文献319
附录A　概率论320
索引328