全面系统讲解神经网络、卷积神经网络、循环神经网络、Transformer等经典深度学习架构,同步配套TensorFlow与PyTorch代码。
从理论到实战,突出系统工程在深度学习中的应用,手把手教你搭建深度学习系统。
无论是AlphaGo、生成对抗网络,还是深度学习推理系统DeepGo,总有一项深度学习前沿技术让你兴奋不已。
本书介绍了深度学习的基本理论、工程实践及其在产业界的部署和应用。在深度学习框架的介绍中,书中结合代码详细讲解了经典的卷积神经网络、循环神经网络和基于自注意力机制的Transformer网络及其变体。还介绍了这些模型在图像分类、目标检测、语义分割、欺诈检测和语音识别等领域的应用。此外,书中还涵盖了深度强化学习和生成对抗网络的前沿进展。在系统工程和产业实践方面,书中解释了如何使用分布式系统训练和部署模型以处理大规模数据。本书系统介绍了构建深度学习推理系统的过程,并结合代码讲解了分布式深度学习推理系统需要考虑的工程化因素,例如分布式问题和消息队列,以及从工程化角度出发的解决方法。本书提供了每个经典模型和应用实例的TensorFlow和PyTorch版本代码,为深度学习初学者和算法开发者提供理论学习、代码实践和工程落地的指导与帮助。
本书既适合计算机、自动化、电子、通信、数学、物理等相关专业背景的研究生和高年级本科生,也适合那些希望从事或准备转向人工智能领域的专业技术人员。
本书源代码
第
1
章神经网络深入
1
11 打开深度学习之门
1
12 从优化问题讲起
6
121 牛顿与开普勒的对话
6
122 拟合与分类的数学模型
6
123 通过训练数据优化模型参数
8
124 优化方法 13
13 深度神经网络 16
131 谁来做特征提取 16
132 人工神经元与激活函数 17
133 神经网络及其数学本质 21
14 正则化方法 29
141 欠拟合与过拟合 29
142 正则化方法 31
143 一些训练技巧 35
15 模型评价 36
151 评价指标的重要性 36
152 混淆矩阵 36
153 典型评价指标 38
16 深度学习能力的边界 39
161 深度学习各领域的发展阶段 39
162 不适用现有深度学习技术的任务 39
163 深度学习的未来 40
本章习题 41
第2章卷积神经网络——图像分类与目标检测 42
21 卷积的基本概念 42
VIII
211 卷积的定义 42
212 卷积的本质 43
213 卷积的重要参数 43
214 池化层 45
22 卷积神经网络 46
221 典型的卷积神经网络 47
222 LeNet 50
223 AlexNet 53
224 VGGNet 57
225 ResNet 63
226 能力对比 75
23 目标检测 76
231 R-CNN 76
232 Fast R-CNN 78
233 Faster R-CNN 79
234 YOLO 79
本章习题 81
第3章卷积神经网络——语义分割 82
31 语义分割基础 82
311 语义分割的应用领域 82
312 全卷积神经网络 83
313 反卷积与空洞卷积 83
314 U-Net 85
315 DeepLab v1 和v2 90
316 DeepLab v3 95
317 两种架构的融合——DeepLab v3+ 101
32 模型可视化 108
321 卷积核可视化 109
322 特征图可视化 109
323 表征向量可视化 109
324 遮盖分析与显著梯度分析 109
33 病理影像分割初探 110
331 病理——医学诊断的“金标准” 110
332 病理人工智能的挑战 111
333 真实模型训练流程112
IX34 自监督学习 117
341 方法概述 117
342 自监督学习算法介绍 118
35 模型训练流程 123
351 成本函数 123
352 自动调节学习速率 123
353 模型保存与加载 123
本章习题 124
第4章高级循环神经网络 125
41 自然语言处理基础 125
411 时间维度的重要性 125
412 自然语言处理 125
413 词袋法 126
414 词嵌入 127
42 循环神经网络 128
421 时序数据建模的模式 128
422 循环神经网络基本结构 128
423 LSTM 131
424 GRU 134
43 基于会话的欺诈检测 137
431 欺诈的模式 137
432 技术挑战 138
433 数据预处理 138
434 实践循环神经网络 140
44 语音识别与语音评测 148
441 特征提取 148
442 模型结构 149
443 CTC 损失函数 151
本章习题 152
第5章分布式深度学习系统 153
51 分布式系统 153
511 挑战与应对 153
512 主从架构 154
513 Hadoop 与Spark 154
X
52 分布式深度学习系统 157
521 CPU 与GPU 157
522 分布式深度学习 160
523 通信——对参数进行同步 164
53 微服务架构 165
531 微服务的基本概念 166
532 消息队列 167
54 分布式推理系统 167
541 深度学习推理框架 167
542 推理系统架构 169
本章习题 171
第6章深度学习前沿 173
61 深度强化学习 173
611 强化学习概述 173
612 深度强化学习概述 174
613 任天堂游戏的深度强化学习 175
62 AlphaGo 176
621 为什么围棋这么困难 176
622 AlphaGo 系统架构 177
623 AlphaGo Zero 181
63 生成对抗网络 182
631 生成对抗网络概述 182
632 典型的生成对抗网络 182
64 未来在哪里 207
本章习题 210
第7章专题讲座 211
71 DenseNet 211
72 Inception 216
73 Xception 230
74 ResNeXt 236
75 Transformer 240
本章习题 242
第8章Transformer
和它的朋友们 243
81 注意力模型 243
XI
811 看图说话 243
812 语言翻译 245
813 几种不同的注意力机制 246
82 Transformer 250
821 自注意力机制和Transformer 250
822 Transformer 在视觉领域的应用 278
本章习题 293
第9章核心实战 294
91 图像分类 295
911 ImageNet 数据集概述 295
912 ImageNet 数据探索与预处理 295
913 模型训练 299
914 模型测试 304
915 模型评价 307
916 猫狗大战数据集 309
917 模型导出 310
92 语义分割 311
921 数字病理切片介绍311
922 数字病理切片预处理 314
923 样本均衡性处理 317
924 模型训练 319
925 模型测试 324
926 模型导出 331
本章习题 332
第10章深度学习推理系统 333
101 整体架构 333
102 调度器模块 334
103 工作节点模块 340
104 日志模块 347
本章习题 349
参考文献 350
扩展资源二维码 351