本书是“鸢尾花数学大系：从加减乘除到机器学习”丛书的最后一册，前六本解决了编程、可视化、数学、数据方面的诸多问题，而本书将开启机器学习经典算法的学习之旅。 本书设置了24个话题，对应四大类机器学习经典算法（回归、分类、降维、聚类），覆盖算法包括：回归分析、多元线性回归、非线性回归、正则化回归、贝叶斯回归、高斯过程、k最近邻分类、朴素贝叶斯分类、高斯判别分析、支持向量机、核技巧、决策树、主成分分析、截断奇异值分解、主成分分析进阶、主成分分析与回归、核主成分分析、典型相关分析、k均值聚类、高斯混合模型、最大期望算法、层次聚类、密度聚类、谱聚类。 本书选取算法模型的目标是覆盖Scikit-Learn库的常用机器学习算法函数，让读者充分理解算法理论，又能联系实际应用。因此，在学习本书时，特别希望调用Scikit-Learn各种函数来解决问题之余，更要理解算法背后的数学工具。因此，本书给出适度的数学推导以及扩展阅读。 本书提供代码示例和视频讲解，“鸢尾花书”强调在JupyterLab自主探究学习才能提高编程技能。本书配套微课也主要以配套JupyterNotebooks为核心，希望读者边看视频，边动手练习。 本书读者群包括所有试图用机器学习解决问题的朋友，尤其适用于机器学习入门、初级程序员转型、高级数据分析师、机器学习进阶。

绪论
第1板块 综述
第1章 机器学习
1.1 什么是机器学习
1.2 回归：找到自变量与因变量关系
1.3 分类：针对有标签数据
1.4 降维：降低数据维度，提取主要特征
1.5 聚类：针对无标签数据
1.6 机器学习流程
1.7 下一步学什么？
第2板块 回归
第2章 回归分析
2.1 线性回归：一个表格、一条直线
2.2 方差分析（ANOVA）
2.3 总离差平方和（SST）
2.4 回归平方和（SSR）
2.5 残差平方和（SSE）
2.6 几何视角：勾股定理
2.7 拟合优度：评价拟合程度
2.8 F检验：模型参数不全为
2.9 t检验：某个回归系数是否为
2.10 置信区间：因变量均值的区间
2.11 预测区间：因变量特定值的区间
2.12 对数似然函数：用在最大似然估计（MLE）
2.13 信息准则：选择模型的标准
2.14 残差分析：假设残差服从均值为0的正态分布
2.15 自相关检测：Durbin-Watson
2.16 条件数：多重共线性
第3章 多元线性回归
3.1 多元线性回归
3.2 优化问题：OLS
3.3 几何解释：投影
3.4 二元线性回归实例
3.5 多元线性回归实例
3.6 正交关系
3.7 三个平方和
3.8 t检验
3.9 多重共线性
3.10 条件概率视角看多元线性回归
第4章 非线性回归
4.1 线性回归
4.2 线性对数模型
4.3 非线性回归
4.4 多项式回归
4.5 逻辑回归
4.6 逻辑函数完成分类问题
第5章 正则化回归
5.1 正则化：抑制过拟合
5.2 岭回归
5.3 几何角度看岭回归
5.4 套索回归
5.5 几何角度看套索回归
5.6 弹性网络回归
第6章 贝叶斯回归
6.1 回顾贝叶斯推断
6.2 贝叶斯回归：无信息先验
6.3 使用PyMC完成贝叶斯回归
6.4 贝叶斯视角理解岭正则化
6.5 贝叶斯视角理解套索正则化
第7章 高斯过程
7.1 高斯过程原理
7.2 解决回归问题
7.3 解决分类问题
第3板块 分类
第8章 k最近邻分类
8.1 k最近邻分类原理：近朱者赤，近墨者黑
8.2 二分类：非红，即蓝
8.3 三分类：非红，要么蓝，要么灰
8.4 近邻数量k影响投票结果
8.5 投票权重：越近，影响力越高
8.6 最近质心分类：分类边界为中垂线
8.7 k-NN回归：非参数回归
第9章 朴素贝叶斯分类
9.1 重逢贝叶斯
9.2 朴素贝叶斯的“朴素”之处
9.3 高斯，你好
第10章 高斯判别分析
10.1 又见高斯
10.2 六类协方差矩阵
10.3 决策边界解析解
10.4 第一类
10.5 第二类
10.6 第三类
10.7 第四类
10.8 第五类
10.9 第六类
10.10 线性和二次判别分析
第11章 支持向量机
11.1 支持向量机
11.2 硬间隔：处理线性可分
11.3 构造优化问题
11.4 支持向量机处理二分类问题
11.5 软间隔：处理线性不可分
第12章 核技巧
12.1 映射函数：实现升维
12.2 核技巧SVM优化问题
12.3 线性核：最基本的核函数
12.4 多项式核
12.5 二次核：二次曲面
12.6 三次核：三次曲面
12.7 高斯核：基于径向基函数
12.8 Sigmoid核
第13章 决策树
13.1 决策树：可以分类，也可以回归
13.2 信息熵：不确定性度量
13.3 信息增益：通过划分，提高确定度
13.4 基尼指数：指数越大，不确定性越高
13.5 最大叶节点：影响决策边界
13.6 最大深度：控制树形大小
第4板块 降维
第14章 主成分分析
14.1 主成分分析
14.2 原始数据
14.3 特征值分解
14.4 正交空间
14.5 投影结果
14.6 还原
14.7 双标图
14.8 陡坡图
第15章 截断奇异值分解
15.1 几何视角看奇异值分解
15.2 四种SVD分解
15.3 几何视角看截断型SVD
15.4 优化视角看截断型SVD
15.5 分析鸢尾花照片
第16章 主成分分析进阶
16.1 从“六条技术路线”说起
16.2 协方差矩阵：中心化数据
16.3 格拉姆矩阵：原始数据
16.4 相关性系数矩阵：标准化数据
第17章 主成分分析与回归
17.1 正交回归
17.2 一元正交回归
17.3 几何角度看正交回归
17.4 二元正交回归
17.5 多元正交回归
17.6 主元回归
17.7 偏最小二乘回归
第18章 核主成分分析
18.1 核主成分分析
18.2 从主成分分析说起
18.3 用核技巧完成核主成分分析
第19章 典型相关分析
19.1 典型相关分析原理
19.2 从一个协方差矩阵考虑
19.3 以鸢尾花数据为例
第5板块 聚类
第20章 K均值聚类
20.1 K均值聚类