近年来，深度学习发展极为迅速，是当前人工智能研究的前沿和热点。在图像识别、目标检测、环境感知、系统建模等诸多领域都有广泛的应用。本书系统介绍深度学习的原理及应用，共分为9章，包括绪论、神经网络基础、卷积神经网络、循环神经网络、深度信念网络、生成对抗网络、深度强化学习、网络轻量化，以及深度学习的几个前沿发展方向，包括可解释性、元学习和自监督学习等。 本书可作为普通高等院校自动化、计算机、电子信息等专业高年级本科生和相关专业研究生的教材，也可供人工智能相关领域从事设计、开发、应用的工程技术人员学习参考。

第1章 绪论
1.1 深度学习发展简史
1.1.1 深度学习的起源
1.1.2 深度学习的发展
1.1.3 深度学习的爆发
1.2 深度学习的相关概念
1.2.1 深度学习与传统机器学习的区别
1.2.2 线性回归
1.2.3 Softmax回归
1.2.4 多层感知机
1.2.5 模型选择、欠拟合和过拟合
1.3 深度学习与人工智能的关系
1.3.1 深度学习在人工智能中的角色
1.3.2 深度学习在人工智能中的应用
1.4 常用的深度学习框架
1.4.1 TensorFlow
1.4.2 PyTorch
1.4.3 Keras
1.5 深度学习的研究进展与应用
1.5.1 深度学习在计算机视觉中的应用
1.5.2 深度学习在自然语言处理中的应用
1.5.3 深度学习在医学领域中的进展
本章小结
思考题或自测题
第2章 神经网络基础
2.1 神经元与网络结构
2.1.1 人工神经元模型
2.1.2 人工神经网络
2.1.3 激活函数
2.1.4 全连接层
2.1.5 输出层
2.1.6 误差计算
2.2 前馈神经网络
2.2.1 前馈神经网络结构
2.2.2 前馈神经网络的训练方法
2.3 反向传播算法
2.3.1 导数与梯度
2.3.2 损失函数
2.3.3 链式法则
2.3.4 反向传播算法
2.4 自动梯度计算
2.4.1 数值微分
2.4.2 符号微分
2.4.3 自动微分
2.5 优化问题
2.5.1 参数初始化
2.5.2 梯度消失和梯度爆炸问题
2.5.3 死亡ReLU问题
2.6 使用PyTorch构建神经网络
2.6.1 MNIST数据集介绍
2.6.2 使用PyTorch构建神经网络训练MNIST数据集
本章小结
思考题或自测题
第3章 卷积神经网络
3.1 卷积与卷积神经网络
3.1.1 卷积操作的数学原理
3.1.2 卷积神经网络的基本结构
3.2 参数学习
3.3 几种典型的卷积神经网络
3.3.1 LeNet
3.3.2 AlexNet
3.3.3 VGGNet
3.3.4 ResNet
3.4 其他卷积方式
3.4.1 空洞卷积
3.4.2 深度可分离卷积
3.5 应用分析
3.5.1 图像分类任务中的应用
3.5.2 目标检测任务中的应用
3.5.3 语义分割任务中的应用
本章小结
思考题或自测题
第4章 循环神经网络
4.1 非线性自回归模型和循环神经网络
4.1.1 延时神经网络
4.1.2 有外部输入的非线性自回归模型
4.1.3 循环神经网络的构造
4.2 参数学习
4.3 几种典型的循环神经网络
4.3.1 Simple RNN
4.3.2 GRU
4.3.3 LSTM
4.3.4 Bi-RNN
4.3.5 ESN
4.4 应用分析
4.4.1 时序建模中的应用
4.4.2 自然语言处理中的应用
本章小结
思考题或自测题
第5章 深度信念网络
5.1 玻尔兹曼机
5.1.1 传统玻尔兹曼机概述
5.1.2 受限玻尔兹曼机概述
5.2 受限玻尔兹曼机
5.2.1 受限玻尔兹曼机的定义
5.2.2 受限玻尔兹曼机参数学习
5.2.3 受限玻尔兹曼机模型参数求解
5.2.4 受限玻尔兹曼机模型训练算法
5.2.5 受限玻尔兹曼机模型评估
5.3 深度信念网络
5.3.1 深层置信网络的定义
5.3.2 模型训练方法
5.4 应用分析
5.4.1 特征学习中的应用
5.4.2 数据生成中的应用
本章小结
思考题或自测题
第6章 生成对抗网络
6.1 概率生成模型
6.1.1 概率生成模型定义
6.1.2 协方差矩阵共享
6.1.3 极大似然估计
6.2 变分自编码器
6.2.1 降维、主成分分析和自动编码器
6.2.2 变分自动编码器框架
6.2.3 变分推理公式推导
6.2.4 将神经网络引入模型
6.3 生成对抗网络
6.3.1 GAN的网络结构
6.3.2 GAN的训练方法
6.3.3 统一目标函数
6.3.4 GAN变种
6.4 应用分析
6.4.1 图像生成中的应用
6.4.2 风格迁移任务中的应用
6.4.3 人机交互领域
本章小结
思考题或自测题
第7章 深度强化学习
7.1 强化学习问题
7.1.1 强化学习定义
7.1.2 马尔可夫决策过程
7.1.3 目标函数
7.2 基于值函数的学习方法
7.2.1 值函数
7.2.2 值函数估计
7.2.3 策略改进
7.2.4 SARSA算法
7.2.5 DQN算法
7.2.6 DQN变种
7.3 基于策略函数的学习方法
7.3.1 策略梯度
7.3.2 REINFORCE算法
7.3.3 原始策略梯度的改进
7.3.4 带基准的REINFORCE算法
7.3.5 重要性采样
7.3.6 近端策略优化算法
7.4 演员-评论员算法
7.4.1 A2C算法
7.4.2 A3C算法
7.5 应用分析
7.5.1 游戏中的强化学习应用
7.5.2 机器人控制中的强化学习应用
本章小结
思考题或自测题
第8章 网络轻量化
8.1 基于统计选择的通道修剪
8.1.1 通道修剪的基本原理