龙强，博士、副教授、硕士研究生导师；就职于西南科技大学数理学院数据科学系，中国运筹学会终生会员；主要从事最优化理论与算法、机器学习算法研究；在国际国内学术期刊上发表论文20余篇，获批国家发明专利3项，主持和参与国家自然科学基金3项，参与国家社会科学基金1项；讲授“深度强化学习”“深度学习与神经网络”“算法设计与分析”“最优化理论与算法”“机器学习”等课程。

章胜，博士、副研究员、硕士研究生导师；就职于中国空气动力研究与发展中心，中国空气动力学学会会员；主要从事飞行器轨迹优化、非线性控制与智能控制研究。在国际及国内学术期刊上发表论文20篇，获批国家发明专利5项，主持和参与国家自然科学基金、国家重点基础研究发展计划等项目15项。

本书比较全面、系统地介绍了深度强化学习的理论和算法，并配有大量的案例和编程实现的代码。全书核心内容可以分为3部分，第一部分为经典强化学习，包括第2～4章，主要内容有动态规划法、蒙特卡罗法、时序差分法；第二部分为深度强化学习，包括第6～8章，主要内容有值函数近似算法、策略梯度算法、策略梯度法进阶；第三部分重点介绍深度强化学习的经典应用案例——AlphaGo系列算法。另外，作为理论和算法的辅助，第1章介绍强化学习的模型，第5章简单介绍深度学习和PyTorch。 本书对理论、模型和算法的描述比较数学化，笔者力求做到用严谨、清晰、简洁的数学语言来写作；几乎每个算法配有一个或多个测试案例，便于读者理解理论和算法；每个案例都配有编程实现的代码，便于读者理论联系实际，并亲自上手实践。为降低读者编写代码的难度，本书所有案例的代码都是可以独立运行的，并且尽量减少了对依赖包的使用。 本书可以作为理工科相关专业研究生的学位课教材，也可以作为人工智能、机器学习相关专业高年级本科生的选修课教材，还可以作为相关领域学术研究人员、教师和工程技术人员的参考资料。

目录

本书源代码

配套资源

第1章强化学习的模型（156min）

1.1强化学习简介

1.1.1初识强化学习

1.1.2强化学习的历史

1.1.3强化学习与机器学习的关系

1.2强化学习的模型

1.2.1强化学习基本模型和要素

1.2.2强化学习的执行过程

1.2.3强化学习的数学模型——马尔可夫决策过程

1.2.4环境模型案例

1.3Gym介绍

1.3.1Gym简介

1.3.2Gym安装

1.3.3Gym的环境描述和案例

1.3.4在Gym中添加自编环境

1.3.5直接使用自编环境

第2章动态规划法（231min）

2.1动态规划法简介

2.2值函数和贝尔曼方程

2.2.1累积折扣奖励

2.2.2值函数

2.2.3贝尔曼方程

2.3策略评估

2.4策略改进

2.5最优值函数和最优策略

2.6策略迭代和值迭代

2.7动态规划法求解强化学习案例

第3章蒙特卡罗法（211min）

3.1蒙特卡罗法简介

3.2蒙特卡罗策略评估

3.2.1蒙特卡罗策略评估

3.2.2增量式蒙特卡罗策略评估

3.2.3蒙特卡罗策略评估案例

3.2.4蒙特卡罗和动态规划策略评估的对比

3.3蒙特卡罗强化学习

3.3.1蒙特卡罗策略改进

3.3.2起始探索蒙特卡罗强化学习

3.3.3ε贪婪策略蒙特卡罗强化学习

3.3.4蒙特卡罗强化学习案例

3.4异策略蒙特卡罗强化学习

3.4.1重要性采样

3.4.2异策略蒙特卡罗策略评估

3.4.3增量式异策略蒙特卡罗策略评估

3.4.4异策略蒙特卡罗强化学习

3.4.5异策略蒙特卡罗强化学习案例

3.5蒙特卡罗树搜索

3.5.1MCTS的基本思想

3.5.2MCTS的算法流程

3.5.3基于MCTS的强化学习算法

3.5.4案例和代码

第4章时序差分法（174min）

4.1时序差分策略评估

4.1.1时序差分策略评估原理

4.1.2时序差分策略评估算法

4.1.3时序差分策略评估案例

4.1.4时序差分策略评估的优势

4.2同策略时序差分强化学习

4.2.1Sarsa算法

4.2.2Sarsa算法案例

4.3异策略时序差分强化学习

4.3.1Qlearning算法

4.3.2期望Sarsa算法

4.3.3Double Qlearning算法

4.3.4Qlearning算法案例

4.4n步时序差分强化学习

4.4.1n步时序差分策略评估

4.4.2nstep Sarsa算法

4.5TD(λ)算法

4.5.1前向TD(λ)算法

4.5.2后向TD(λ)算法

4.5.3Sarsa(λ)算法

第5章深度学习与PyTorch（275min）

5.1从感知机到神经网络

5.1.1感知机模型

5.1.2感知机和布尔运算

5.2深度神经网络

5.2.1网络拓扑

5.2.2前向传播

5.2.3训练模型

5.2.4误差反向传播

5.3激活函数、损失函数和数据预处理

5.3.1激活函数

5.3.2损失函数

5.3.3数据预处理

5.4PyTorch深度学习软件包

5.4.1数据类型及类型的转换

5.4.2张量的维度和重组操作

5.4.3组装神经网络的模块

5.4.4自动梯度计算

5.4.5训练数据自由读取

5.4.6模型的搭建、训练和测试

5.4.7模型的保存和重载

5.5深度学习案例

5.5.1函数近似

5.5.2数字图片识别

第6章值函数近似算法（195min）

6.1线性值函数近似算法

6.1.1线性值函数近似时序差分算法

6.1.2特征函数

6.1.3线性值函数近似算法案例

6.2神经网络值函数近似法

6.2.1DQN算法原理

6.2.2DQN算法

6.2.3DQN算法案例

6.3Double DQN(DDQN)算法

6.4Prioritized Replay DQN算法

6.4.1样本优先级

6.4.2随机优先级采样

6.4.3样本重要性权重参数

6.4.4Prioritized Replay DQN算法流程

6.4.5Prioritized Replay DQN算法案例

6.5Dueling DQN算法

6.5.1Dueling DQN算法原理

6.5.2Dueling DQN算法案例

第7章策略梯度算法（176min）

7.1策略梯度算法的基本原理

7.1.1初识策略梯度算法

7.1.2策略函数

7.1.3策略目标函数

7.1.4策略梯度算法的框架

7.1.5策略梯度算法的评价

7.2策略梯度定理

7.2.1离散型策略梯度定理

7.2.2连续型策略梯度定理

7.2.3近似策略梯度和评价函数

7.3蒙特卡罗策略梯度算法(REINFORCE)

7.3.1REINFORCE的基本原理

7.3.2REINFORCE的算法流程

7.3.3REINFORCE随机梯度的严格推导

7.3.4带基线函数的REINFORCE

7.3.5REINFORCE实际案例及代码实现

7.4演员评论家策略梯度算法

7.4.1算法原理

7.4.2算法流程

7.4.3算法代码及案例

第8章策略梯度法进阶（135min）

8.1异步优势演员： 评论家算法

8.1.1异步强化学习

8.1.2A3C算法

8.1.3A2C算法

8.1.4案例和程序

8.2深度确定性策略梯度算法

8.2.1DDPG的基本思想

8.2.2DDPG的算法原理

8.2.3DDPG的算法结构和流程

8.2.4案例和程序

8.3近端策略优化算法

8.3.1PPO的算法原理

8.3.2PPO的算法结构和流程

8.3.3案例和程序

8.4柔性演员评论家算法

8.4.1最大熵原理

8.4.2柔性Q学习

8.4.3SAC算法原理

8.4.4SAC算法结构和流程

8.4.5案例和程序

第9章深度强化学习案例： AlphaGo系列算法

9.1AlphaGo算法介绍

9.1.1AlphaGo中的深度神经网络

9.1.2AlphaGo中深度神经网络的训练

9.1.3AlphaGo的MCTS

9.1.4总结

9.2AlphaGo Zero算法介绍

9.2.1AlphaGo Zero的策略价值网络

9.2.2AlphaGo Zero的MCTS

9.2.3AlphaGo Zero的算法流程

9.3AlphaZero算法介绍

9.3.1从围棋到其他棋类需要解决的问题

9.3.2AlphaZero相对于AlphaGo Zero的改进与调整

9.3.3AlphaZero的算法流程

9.4MuZero算法介绍

9.4.1MuZero中的深度神经网络

9.4.2MuZero中的MCTS

9.4.3MuZero的算法流程

9.5AlphaGo系列算法的应用与启示

参考文献