目录
第 1章引论 1
11什么是机器学习 1
12多项式逼近函数 3
13多项式 Remez算法6
习题 10
第 2章感知机模型 11
21分类问题的刻画 11
22线性规划 15
习题 21
第 3章线性回归 23
31最小二乘法原理 23
32多元高斯分布模型 25
33误差和方差 26
34岭回归和 Lasso回归 28
习题 30
第 4章逻辑回归 31
41逻辑回归概述 31
42多重分类线性模型和非线性模型 34
习题 35
第 5章决策树模型 37
51离散型数据 37
52熵和决策树的建立 39
53剪枝 41
54连续型数据 42
55 CART树 43
习题 46
第 6章生成模型和判别模型 48
61极大似然估计 48
62贝叶斯估计 50
63线性判别模型 51
64多元正态分布 53
65 LDA和 LQA 54
第 7章优化方法 57
71数值解方程 57
72光滑函数的极值点 58
73带约束条件的极值问题 59
74梯度下降法 61
75凸函数 62
76对偶问题 65
77 Minimax问题 66
78 L1过滤 68
第 8章支持向量机 70
81点到平面的距离 70
82支持向量机的原理 71
83对偶问题 73
84核函数的方法 75
85软性支持向量机 77
86支持向量机回归 79
习题 80
第 9章神经网络 81
91简单函数逼近复杂函数 81
92神经网络结构 83
习题 85
第 10章机器学习理论问题 87
101问题的提出 87
102概率不等式 90
103有限假设空间 92
目录 V
104 No Free Lunch定理 95
105 VC维度 96
习题 104
第 11章集成和提升 105
111方差偏度分解 105
112随机森林 107
113梯度提升决策树模型 108
114 AdaBoost方法 111
习题 114
第 12章主成分分析 115
121对称矩阵特征值和特征向量 115
122矩阵的奇异值分解 118
123主成分分析 119
第 13章 EM算法 121
131一个概率问题 121
132混合高斯分布的 EM算法 123
133一般形式推导 126
习题 127
第 14章隐马尔可夫模型 129
141第一个问题 130
142第二个问题 133
143第三个问题 134
144连续型隐马尔可夫模型 136
习题 138
第 15章强化学习 140
151马尔可夫价值系统 140
152马尔可夫价值蒙特卡罗数值解 141
153马尔可夫决策系统 142
154马尔可夫决策系统最优策略 143
155时序差分方法 144
156资格迹 146
157值函数逼近方法 147
习题 149
第 16章概率论基础 150
161古典概率论内容 150
162连续分布 151
163期望 154
164信息和熵 155
165大数定律证明 157
166中心极限定理证明 159
第 17章线性代数基础 161
171行列式 161
172 Cramer法则 166
173矩阵初等性质 168
174矩阵的逆 171
175矩阵的初等变换 172
176伴随矩阵 174
177对于矩阵运算求导数 175
