何宇健，广受读者好评的《Python与机器学习实战》一书作者，来自北京大学数学系，有多年Python开发经验，在GitHub上拥有并维护着一个纯Python编写的机器学习算法库（386个stars，264个forks）。对机器学习、神经网络及它们在量化投资方面的应用有深入研究。曾在创新工场AI工程院负责研发适用于结构化数据的新型神经网络、序列预测算法的抽象框架以及基于模型的自动特征工程。

人工智能已成发展趋势，而深度学习则是其中*有用的工具之一。虽然科技发展速度迅猛，现在实用技术更新换代的频率已经迅速到以周来计算，但是其背后*为基础的知识却是共通的。本书较为全面地介绍了神经网络的诸多基础与进阶的技术，同时还介绍了如何利用神经网络来解决真实世界中的现实任务。本书各章的内容不仅包括经典的传统机器学习算法与神经网络的方方面面，还对它们进行了对比与创新。如果能够掌握本书所讲述的知识，相信即使具体的技术更新得再快，读者也能根据本书所介绍的知识来快速理解、上手与改进它们。 本书兼顾了理论与实践，不仅从公式上推导出神经网络的各种性质，也从实验上对它们进行了验证，比较适合初学者进行学习。同时，本书所给出的框架更能直接、简单、快速地应用在实际任务中，适合相关从业人员使用。

目  录 

第1章 绪论  1 
1．1       机器学习简介  2 
1．1．1  什么是机器学习  2 
1．1．2  机器学习常用术语  3 
1．2       Python简介  9 
1．2．1  Python的优势  10 
1．2．2  scikit-learn和TensorFlow 11 
1．3       前期准备  13 
1．3．1  训练、交叉验证与测试  13 
1．3．2  简易数据预处理  14 
1．4       本章小结  15 

第2章 经典传统机器学习算法简介  17 
2．1      朴素贝叶斯  17 
2．1．1  条件独立性假设  18 
2．1．2  贝叶斯思维  19 
2．1．3  模型算法  20 
2．1．4  实例演示  23 
2．1．5  参数估计  25 
2．1．6  朴素贝叶斯的改进  28 
2．2       决策树 33 
2．2．1  决策的方法  33 
2．2．2  决策树的生成  34 
2．2．3  决策树的剪枝  39 
2．2．4  实例演示  40 
2．2．5  决策树的三大算法  40 
2．2．6  数据集的划分  45 
2．2．7  决策树与回归  48 
2．3       支持向量机  50 
2．3．1  分离超平面与几何间隔  50 
2．3．2  感知机与SVM的原始形式  58 
2．3．3  梯度下降法  62 
2．3．4  核技巧  70 
2．3．5  实例演示  75 
2．4       Logistic回归  75 
2．5       本章小结  76 

第3章 神经网络入门  77 
3．1       神经网络的结构  78 
3．2       前向传导算法  80 
3．2．1  算法概述  81 
3．2．2  算法内涵  83 
3．2．3  激活函数  85 
3．2．4  损失函数  90 
3．3       反向传播算法  92 
3．3．1  算法概述  92 
3．3．2  损失函数的选择  94 
3．4       参数的更新  98 
3．4．1  Vanilla Update 99 
3．4．2  Momentum Update  99 
3．4．3  Nesterov Momentum Update 100 
3．4．4  AdaGrad  100 
3．4．5  RMSProp  101 
3．4．6  Adam 101 
3．5       TensorFlow模型的基本框架  101 
3．5．1  TensorFlow的组成单元与基本思想  102 
3．5．2  TensorFlow模型的基本元素  104 
3．5．3  TensorFlow元素的整合方法  114 
3．5．4  TensorFlow模型的save ＆ load  125 
3．6       朴素神经网络的实现与评估  130 
3．7       本章小结  138 

第4章 从传统算法走向神经网络  139 
4．1       朴素贝叶斯的线性形式  139 
4．2       决策树生成算法的本质  145 
4．2．1  第1隐藏层→决策超平面  147 
4．2．2  第2隐藏层→决策路径  148 
4．2．3  输出层→叶节点  150 
4．2．4  具体实现  151 
4．3       模型转换的实际意义  158 
4．3．1  利用Softmax来赋予概率意义  159 
4．3．2  利用Tanh Softmax来“软化”模型  160 
4．3．3  通过微调来缓解“条件独立性假设”  165 
4．3．4  通过微调来丰富超平面的选择  165 
4．3．5  模型逆转换的可能性 171 
4．4       模型转换的局限性  172 
4．5       本章小结  172 

第5章 神经网络进阶  174 
5．1       层结构内部的额外工作  175 
5．1．1  Dropout  175 
5．1．2  Batch Normalization  176 
5．1．3  具体实现  180 
5．2       “浅”与“深”的结合  181 
5．2．1  离散型特征的处理方式  181 
5．2．2  Wide and Deep模型概述  183 
5．2．3  Wide and Deep的具体实现  185 
5．2．4  WnD的重要思想与优缺点  194 
5．3       神经网络中的“决策树”  195 
5．3．1  DNDF结构概述  195 
5．3．2  DNDF的具体实现  199 
5．3．3  DNDF的应用场景  210 
5．3．4  DNDF的结构内涵  213 
5．4       神经网络中的剪枝  216 
5．4．1  Surgery算法概述  216 
5．4．2  Surgery算法改进  218 
5．4．3  软剪枝的具体实现  221 
5．4．4  软剪枝的算法内涵  223 
5．5       AdvancedNN的结构设计  237 
5．5．1  AdvancedNN的实现补足  237 
5．5．2  WnD与DNDF  239 
5．5．3  DNDF与剪枝 241 
5．5．4  剪枝与Dropout  242 
5．5．5  没有免费的午餐  242 
5．6      AdvancedNN的实际性能  243 
5．7      本章小结  251 

第6章 半自动化机器学习框架  253 
6．1       数据的准备  254 
6．1．1  数据预处理的流程  254 
6．1．2  数据准备的流程  256 
6．2       数据的转换  264 
6．2．1  数据的数值化  264 
6．2．2  冗余特征的去除  266 
6．2．3  缺失值处理  269 
6．2．4  连续型特征的数据预处理  272 
6．2．5  特殊类型数据的处理 274 
6．3       AutoBase的实现补足  277 
6．4       AutoMeta的实现  281 
6．5       训练过程的监控  288 
6．5．1  监控训练过程的原理 288 
6．5．2  监控训练的实现思路 292 
6．5．3  监控训练的具体代码 293 
6．6       本章小结  299 

第7章 工程化机器学习框架  301 
7．1       输出信息的管理 301 
7．2       多次实验的管理  309 
7．2．1  多次实验的框架  312 
7．2．2  多次实验的初始化  314 
7．2．3  多次实验中的数据划分  316 
7．2．4  多次实验中的模型评估  318 
7．2．5  多次实验的收尾工作 321 
7．3       参数搜索的管理  321 
7．3．1  参数搜索的框架  322 
7．3．2  随机搜索与网格搜索 329 
7．3．3  参数的选取  334 
7．3．4  参数搜索的收尾工作 335 
7．3．5  具体的搜索方案  335 
7．4       DistAdvanced的性能  337 
7．5       本章小结  344 

附录A SVM的TensorFlow实现  345 
附录B numba的基本应用  352 
附录C 装饰器的基本应用  359 
附录D 可视化  363 
附录E 模型的评估指标  370 
附录F 实现补足  377