本书围绕现代决策树模型，通过原理解析、应用示例和完整的代码实现详细讲解决策树算法，既涵盖必要的公式推导，又考虑具体的应用需求。书中讨论的主要算法和技术包括：CART、ID3和C4.5等经典决策树算法，代价复杂度剪枝、错误率降低剪枝和悲观错误剪枝等决策树剪枝方法，随机森林的构造和参数调优，套袋法、梯度提升法和堆叠法等集成学习方法，XGBoost、LightBoost和CatBoost等主流并行决策树，常见蚁群算法、蚁群决策树算法和自适应蚁群决策森林，深度森林、深度神经决策树和深度神经决策森林等深度决策树算法。本书旨在帮助读者系统且全面地了解决策树，并成功将其用于工程实践。全书配有丰富的代码资源，所有代码均可免费下载。

赞誉
推荐序一
推荐序二
推荐序三
前言
第1章 决策树与人工智能
1.1 决策与智能
1.2 决策树算法的起源
1.3 决策树的核心术语
1.4 决策树的可解释性
1.5 作为决策分析工具的决策树
1.5.1 决策分析
1.5.2 基于决策分析流程的决策树
1.6 作为机器学习算法的决策树
1.6.1 机器学习算法的类型
1.6.2 基于数据的决策树
1.6.3 决策树算法面临的基本问题
1.6.4 基于规则的机器学习
1.7 作为特征学习与决策融合的决策树
1.8 参考文献
第2章 经典决策树算法
2.1 经典决策树应用的一般流程
2.1.1 缺失值的处理
2.1.2 连续数值属性的离散化处理
2.2 CART算法
2.2.1 基尼不纯度、基尼增益与基尼指数
2.2.2 CART分类决策树的原理
2.2.3 CART分类决策树的编程实践
2.2.4 回归问题与回归算法
2.2.5 CART回归决策树的特征和分割点选择准则
2.2.6 CART回归决策树的原理
2.2.7 CART回归决策树的编程实践
2.3 ID3算法
2.3.1 信息熵与信息增益
2.3.2 ID3算法示例
2.3.3 ID3算法的编程实践
2.4 C4.5算法
2.4.1 信息增益率
2.4.2 连续属性的处理
2.4.3 缺失值的处理
2.4.4 基于C4.5算法处理连续属性生成分类决策树的示例
2.4.5 C4.5算法的后续改进——C5.0算法
2.5 决策树的评估
2.6 决策树的5种可视化方法
2.7 小结
2.8 参考文献
第3章 决策树的剪枝
3.1 代价复杂度剪枝
3.1.1 CCP算法的基本原理
3.1.2 CCP算法的编程实践
3.1.3 基于sklearn的CCP示例
3.2 错误率降低剪枝
3.2.1 REP算法的基本原理
3.2.2 REP算法的编程实践
3.3 悲观错误剪枝
3.3.1 PEP算法的基本原理
3.3.2 PEP算法的编程实践
3.4 最小错误剪枝
3.4.1 MEP算法的基本原理
3.4.2 MEP算法的编程实践
3.5 其他决策树剪枝算法简介
3.6 小结
3.7 参考文献
第4章 随机森林
4.1 随机森林的基本原理
4.1.1 构造随机森林的步骤
4.1.2 随机森林的简单示例
4.1.3 基于sklearn的随机森林编程示例
4.1.4 选择最优的随机特征属性数量
4.2 套袋法
4.2.1 套袋法的算法流程
4.2.2 套袋法的偏差和方差
4.2.3 套袋法的优缺点
4.3 随机森林的参数设置与调优
4.3.1 sklearn随机森林的参数
4.3.2 调参示例
4.3.3 OOB错误率与交叉验证
4.4 随机森林的优缺点
4.5 使用随机森林进行特征属性的重要性区分的示例
4.5.1 基于基尼指数的特征属性重要性评估
4.5.2 基于袋外数据错误率的特征属性重要性评估
4.6 使用随机森林进行无监督聚类的示例
4.7 使用随机森林进行回归分析的示例
4.8 随机森林与核方法的结合
4.9 小结
4.10 参考文献
第5章 集成学习方法
5.1 提升法
5.1.1 AdaBoost算法原理
5.1.2 AdaBoost算法实现
5.1.3 AdaBoost算法的编程实践——基于sklearn解决分类问题
5.1.4 AdaBoost算法的编程实践——基于sklearn解决回归问题
5.1.5 提升法的分类、优点和挑战
5.2 梯度提升法
5.2.1 梯度提升法的原理和示例
5.2.2 梯度提升决策树
5.2.3 梯度提升分类决策树
5.2.4 梯度提升回归决策树
5.2.5 随机梯度提升树
5.2.6 基于梯度提升法的机器学习库
5.3 堆叠法
5.3.1 简单的二阶段堆叠算法
5.3.2 基于K折交叉验证的二阶段堆叠法
5.3.3 基于sklearn的K折交叉验证的二阶段堆叠法的编程实践
5.3.4 多阶段堆叠模型
5.4 套袋法、提升法、堆叠法的比较
5.5 小结
5.6 参考文献
第6章 并行决策树
6.1 随机森林的并行化
6.2 XGBoost基础
6.2.1 XGBoost核心原理
6.2.2 XGBoost系统设计及其并行化加速
6.2.3 XGBoost编程基础
6.2.4 XGBoost回归问题编程
6.2.5 XGBoost分类问题编程
6.2.6 XGBoost随机森林编程
6.2.7 XGBoost特征筛选编程
6.2.8 XGBoost与传统提升树的比较
6.2.9 XGBoost的缺点
6.3 LightGBM基础
6.3.1 LightGBM核心原理
6.3.2 LightGBM系统设计及其并行化加速
6.3.3 LigthGBM编程基础
6.3.4 LightGBM与sklearn结合的示例
6.3.5 LightGBM回归问题编程
6.3.6 LightGBM分类问题编程
6.3.7 LightGBM的优缺点
6.4 CatBoost基础
6.4.1 CatBoost核心原理
6.4.2 CatBoost系统设计及其并行化加速
6.4.3 CatBoost编程基础
6.4.4 CatBoost分类问题编程（不带分类特征属性）
6.4.5 CatBoost回归问题编程（不带分类特征属性）
6.4.6 CatBoost回归问题编程（带分类特征属