(1)作者技术扎实、功力深厚,有20余年开发经验,对人工智能、量化交易、区块链等技术有深入研究,实践经验丰富。
(2)CSDN、极客邦科(InfoQ)、麦思博(MSUP)、天善智能4大IT媒体和知识服务机构高度评价并推荐
(3)以AI领域新的技术研究和和实践为基础。从技术理论、工作原理、实践方法、架构技巧、训练方法、技术前瞻等6个维度对深度卷积网络进行了系统、深入、详细地讲解。
(4)以实战为导向,深入分析AlphaGo和GAN的实现过程、技术原理、训练方法和应用细节,包含大量案例和代码。
深度卷积网络(DCNN)是目前十分流行的深度神经网络架构,它的构造清晰直观,效果引人入胜,在图像、视频、语音、语言领域都有广泛应用。
本书以AI领域新的技术研究和和实践为基础,从技术理论、工作原理、实践方法、架构技巧、训练方法、技术前瞻等6个维度对深度卷积网络进行了系统、深入、详细地讲解。
以实战为导向,深入分析AlphaGo和GAN的实现过程、技术原理、训练方法和应用细节,为读者依次揭开神经网络、卷积网络和深度卷积网络的神秘面纱,让读者了解AI的“思考过程”,以及与人类思维的相同和不同之处。
本书在逻辑上分为3个部分:
第一部分 综述篇(第1、6、9章)
这3章不需要读者具备编程和数学基础,对深度学习和神经网络的基础知识、AlphaGo的架构设计和工作原理,以及深度学习和人工智能未来的技术发展趋势进行了宏观介绍。
第二部分 深度卷积网络篇(第2、3、4、5章)
结合作者的实际工作经验和案例代码,对深度卷积网络的技术理论、工作原理、实践方法、架构技巧和训练方法做了系统而深入的讲解。
第三部分 实战篇(第7、8章)
详细分析了AlphaGo和GAN的技术原理、训练方法和应用细节,包括详细的代码分析和大量GAN的精彩实例。
本书的案例代码在GitHub上提供下载,同时读者可在GitHub与作者交流本书相关的问题。
Contents 目 录
前言
引子·神之一手1
第1章 走进深度学习的世界5
1.1 从人工智能到深度学习5
1.2 深度神经网络的威力:以AlphaGo为例8
1.2.1 策略网络简述9
1.2.2 泛化:看棋谱就能学会下围棋11
1.2.3 拟合与过拟合11
1.2.4 深度神经网络的速度优势12
1.3 深度神经网络的应用大观13
1.3.1 图像分类问题的难度所在13
1.3.2 用深度神经网络理解图像15
1.3.3 AlphaGo中的深度神经网络17
1.3.4 自动发现规律:从数据A到答案B17
1.3.5 深度神经网络的更多应用18
1.3.6 从分而治之,到端对端学习24
1.4 亲自体验深度神经网络25
1.4.1 TensorFlow游乐场25
1.4.2 MNIST数字识别实例:LeNet-527
1.4.3 策略网络实例28
1.4.4 简笔画:Sketch-RNN29
1.4.5 用GAN生成动漫头像30
1.5 深度神经网络的基本特点31
1.5.1 两大助力:算力、数据31
1.5.2 从特征工程,到逐层抽象32
1.5.3 深度神经网络学会的是什么35
1.6 人工智能与神经网络的历史36
1.6.1 人工智能的两大学派:逻辑与统计37
1.6.2 人工智能与神经网络的现代编年史37
第2章 深度卷积网络:第一课42
2.1 神经元:运作和训练43
2.1.1 运作:从实例说明43
2.1.2 训练:梯度下降的思想44
2.1.3 训练:梯度下降的公式46
2.1.4 训练:找大小问题的初次尝试48
2.1.5 训练:Excel的实现 50
2.1.6 重要知识:批大小、mini-batch、epoch51
2.2 深度学习框架MXNet:安装和使用51
2.2.1 计算图:动态与静态52
2.2.2 安装MXNet:准备工作53
2.2.3 在Windows下安装MXNet54
2.2.4 在macOS下安装MXNet:CPU版57
2.2.5 在macOS下安装MXNet:GPU版58
2.2.6 在Linux下安装MXNet59
2.2.7 安装Jupyter演算本59
2.2.8 实例:在MXNet训练神经元并体验调参60
2.3 神经网络:运作和训练63
2.3.1 运作:前向传播,与非线性激活的必要性63
2.3.2 运作:非线性激活64
2.3.3 训练:梯度的计算公式66
2.3.4 训练:实例69
2.3.5 训练:Excel的实现70
2.3.6 训练:反向传播71
2.3.7 重要知识:梯度消失,梯度爆炸72
2.3.8 从几何观点理解神经网络72
2.3.9 训练:MXNet的实现73
第3章 深度卷积网络:第二课 77
3.1 重要理论知识77
3.1.1 数据:训练集、验证集、测试集77
3.1.2 训练:典型过程79
3.1.3 有监督学习:回归、分类、标签、排序、Seq2Seq79
3.1.4 无监督学习:聚类、降维、自编码、生成模型、推荐81
3.1.5 训练的障碍:欠拟合、过拟合82
3.1.6 训练的细节:局部极值点、鞍点、梯度下降算法83
3.2 神经网络的正则化85
3.2.1 修改损失函数:L2和L1正则化85
3.2.2 修改网络架构:Dropout正则化86
3.2.3 更多技巧:集合、多任务学习、参数共享等86
3.2.4 数据增强与预处理88
3.3 神经网络的调参89
3.3.1 学习速率89
3.3.2 批大小90
3.3.3 初始化方法92
3.3.4 调参实战:重返TensorFlow游乐场93
3.4 实例:MNIST问题95
3.4.1 重要知识:SoftMax层、交叉熵损失96
3.4.2 训练代码与网络架构98
3.4.3 超越MNIST:最新的Fashion-MNIST数据集101
3.5 网络训练的常见bug和检查方法103
3.6 网络训练性能的提高104
第4章 深度卷积网络:第三课106
4.1 卷积网络:从实例说明106
4.1.1 实例:找橘猫,最原始的方法107
4.1.2 实例:找橘猫,更好的方法108
4.1.3 实例:卷积和池化108
4.1.4 卷积网络的运作111
4.2 运作:AlphaGo眼中的棋盘112
4.2.1 棋盘的编码113
4.2.2 最简化的策略网络115
4.2.3 最简化的策略网络:特征层和卷积后的结果116
4.3 卷积神经网络:进一步了解122
4.3.1 卷积核、滤波器与参数量的计算122
4.3.2 运作和训练的计算123
4.3.3 外衬与步长124
4.3.4 缩小图像:池化与全局池化126
4.3.5 放大图像:转置卷积127
4.4 实例:用卷积网络解决MNIST问题128
4.4.1 网络架构的定义与参数量的计算129
4.4.2 训练MNIST网络130
4.4.3 在MXNet运行训练后的网络131
4.4.4 调参实例133
4.4.5 在Fashion-MNIST数据集的结果133
4.5 MXNet的使用技巧134
4.5.1 快速定义多个层134
4.5.2 网络的保存与读取135
4.5.3 图像数据的打包和载入135
4.5.4 深入MXNet训练细节136
4.5.5 在浏览器和移动设备运行神经网络139
第5章 深度卷积网络:第四课141
5.1 经典的深度卷积网络架构142
5.1.1 深度学习革命的揭幕者:AlexNet142
5.1.2 常用架构:VGG系列145
5.1.3 去掉全连接层:DarkNet系列147
5.2 网络的可视化:以AlexNet为例150
5.3 迁移学习:精调、预训练等155
5.4 架构技巧:基本技巧157
5.4.1 感受野与缩小卷积核157
5.4.2 使用1×1卷积核158
5.4.3 批规范化160
5.4.4 实例:回顾Fashion-MNIST问题161
5.4.5 实例:训练CIFAR-10模型164
5.5 架构技巧:残差网络与通道组合169
5.5.1 残差网络:ResNet的思想169
5.5.2 残差网络:架构细节171
5.5.3 残差网络:来自于集合的理解与随机深度172
5.5.4 残差网络:MXNet实现,以策略网络为例173
5.5.5 通道组合:Inception模组174
5.5.6 通道组合:XCeption架构,深度可分卷积177
5.5.7 实例:再次训练CIFAR-10模型178
5.6 架构技巧:更多进展181
5.6.1 残差网络进展:ResNext、Pyramid Net、DenseNet181
5.6.2 压缩网络:SqueezeNet、MobileNet、ShuffleNet183
5.6.3 卷积核的变形188
5.7 物体检测与图像分割189
5.7.1 YOLO v1:实时的物体检测网络190
5.7.2 YOLO v2:更快、更强192
5.7.3 Faster R-CNN:准确的物体检测网络194
5.7.4 Mask-RCNN:准确的图像分割网络195
5.8 风格转移197
第6章 AlphaGo架构综述200
6.1 从AlphaGo到AlphaZero201
6.1.1 AlphaGo v13与AlphaGo v18201
6.1.2 AlphaGo Master与AlphaGoZero202
6.1.3 解决一切棋类:AlphaZero204
6.2 AlphaGo的对弈过程205
6.2.1 策略网络205
6.2.2 来自人类的思路208
6.2.3 蒙特卡洛树搜索与估值问题209
6.2.4 从快速走子估值到价值网络211
6.2.5 从搜索树看策略与价值网络的作用213
6.2.6 策略与价值网络的运作实例215
6.3 AlphaGo中的深度卷积网络架构217
6.4 AlphaGo的训练过程219
6.4.1 原版AlphaGo:策略梯度方法219
6.4.2 新版AlphaGo:从蒙特卡洛树搜索学习220
6.5 AlphaGo方法的推广221
第7章 训练策略网络与实战224
7.1 训练前的准备工作224
7.1.1 棋谱数据225
7.1.2 落子模拟226
7.1.3 终局判断226
7.2 训练代码227
7.2.1 主程序:train.py227
7.2.2 训练参数:config.py233
7.2.3 辅助函数:util.py234
7.2.4 棋盘随机变换:symmetry.py235
7.2.5 训练实例236
7.3 对弈实战237
第8章 生成式对抗网络:GAN240
8.1 GAN的起源故事240
8.2 GAN的基本原理242
8.2.1 生成模型:从图像到编码,从编码到图像242
8.2.2 GAN的基本效果243
8.2.3 GAN的训练方法246
8.3 实例:DCGAN及训练过程248
8.3.1 网络架构248
8.3.2 训练代码249
8.4 GAN的更多架构和应用255
8.4.1 图像转移:CycleGAN系列255
8.4.2 生成高分辨率图像:nVidia的改进260
8.4.3 自动提取信息:InfoGAN261
8.4.4 更多应用264
8.5 更多的生成模型方法266
8.5.1 自编码器:从AE到VAE266
8.5.2 逐点生成:PixelRNN和PixelCNN系列267
8.5.3 将VAE和GAN结合:CVAE-GAN268
第9章 通向智能之秘272
9.1 计算机视觉的难度272
9.2 对抗样本,与深度网络的特点276
9.3 人工智能的挑战与机遇278
9.3.1 棋类游戏中的电脑陷阱278
9.3.2 偏见、过滤气泡与道德困境280
9.3.3 语言的迷局283
9.3.4 强化学习、机器人与目标函数286
9.3.5 创造力、审美与意识之谜290
9.3.6 预测学习:机器学习的前沿293
9.4 深度学习的理论发展295
9.4.1 超越反向传播:预测梯度与生物模型295
9.4.2 超越神经网络:Capsule与gcForest297
9.4.3 泛化问题300
9.5 深度学习与人工智能的展望304
9.5.1 工程层面304
9.5.2 理论层面304
9.5.3 应用层面305
跋 人工智能与我们的未来306
附录 深度学习与AI的网络资源310
对于初次接触人工智能的工程师和数据科学家来说,系统性的建立对人工智能知识体系很有必要,但同时也需要找一个易于学习的切入点或突破点。作者考虑到不同层次读者需要,选择了很有代表性的AlphaGo和GAN进行讲解,并给出了很好的案例引导。本书循序渐进从概念到原理,从原理到实践步步深入AI,案例生动而细致。持续学习是人工智能发展的关键,同样的在这样的一个技术日新月异的时代,我们也需要保持持续的学习力。推荐此书,保有一份对技术的敬畏与热忱,让我们一起打开AI的世界。
——梁勇 天善智能创始人
神经网络是深度学习的有效方法之一,深度卷积网络则又是目前十分流行的深度神经网络架构,在图像、视频、语音等领域被广泛应用,我们熟知的AlphaGo就大量实用了深度卷积网络技术。彭博的这本书,兄理论和实践两个层面对卷积神经网络做了非常翔实的讲解,理论层面,重点讲解了卷积神经网络的技术基础和工作原理;实践层面,则通过对AlphaGo的层层剖析,展现了卷积神经网络的实践方法。此外,本书在大环境上,基于Python和MXNet等流行的深度学习工具撰写,能让读者在理解深度卷积网络的同时,掌握这些工具的使用。
——刘付强 MSUP(麦思博)创始人兼CEO
人工智能是未来重要的发展方向,也是我们极客邦重要的内容版块之一。这本书选择深度学习中受欢迎的技术深度卷积网络(DCNN)和生成式对抗网络(GAN)为切入点,从技术、原理、训练方法、应用等角度全方位地对它们进行了讲解。为了让艰深的技术不那么难懂,本书以我们熟知的AlphaGo为案例(AlphaGo是使用深度卷积网络的经典成功案例),通过分析AlphaGo的实现过程,让具体的技术细节通俗易懂。
——霍泰稳 极客邦科技创始人兼 CEO
2016年AlphaGo人机大战开启了人工智能的黄金时代,CSDN数据统计表明2016年后深度学习技术文章全年增长3倍以上,阅读过机器学习和深度学习内容的开发者用户数近百万,但全面掌握深度学习还是有相当的门槛,坊间也有深度学习的经典著作,但还很缺乏系统工程实践讲解,彭博这本书弥补了这一缺失,由浅入深,从实践出发,剖析AlphaGo实现,全面系统介绍了深度卷积网络的应用和发展,开发者跟着书中案例一步步实现,就可以快速掌握深度学习的强大。
——蒋涛 CSDN创始人/极客帮创投创始人