本书基于备受读者推崇的王树森“深度强化学习”系列公开视频课，专门解决“入门深度强化学习难”的问题。 本书的独特之处在于：第一，知识精简，剔除一切不必要的概念和公式，学起来轻松；第二，内容新颖，聚焦近10年深度强化学习领域的突破，让你一上手就紧跟最新技术。 本书系统讲解深度强化学习的原理与实现，但不回避数学公式和各种模型，原创100多幅精美插图，并以全彩印刷展示。简洁清晰的语言+生动形象的图示，助你扫除任何可能的学习障碍！本书内容分为五部分：基础知识、价值学习、策略学习、多智能体强化学习、应用与展望，涉及DQN、A3C、TRPO、DDPG、AlphaGo等。 本书面向深度强化学习入门读者，助你构建完整的知识体系。学完本书，你能够轻松看懂深度强化学习的实现代码、读懂该领域的论文、听懂学术报告，具备进一步自学和深挖的能力。

第一部分 基础知识
第1章 机器学习基础
1.1 线性模型
1.1.1 线性回归
1.1.2 逻辑斯谛回归
1.1.3 softmax分类器
1.2 神经网络
1.2.1 全连接神经网络
1.2.2 卷积神经网络
1.3 梯度下降和反向传播
1.3.1 梯度下降
1.3.2 反向传播
知识点小结
习题
第2章 蒙特卡洛方法
2.1 随机变量
2.2 蒙特卡洛方法实例
2.2.1 例一：近似π值
2.2.2 例二：估算阴影部分面积
2.2.3 例三：近似定积分
2.2.4 例四：近似期望
2.2.5 例五：随机梯度
知识点小结
习题
第3章 强化学习基本概念
3.1 马尔可夫决策过程
3.1.1 状态、动作、奖励
3.1.2 状态转移
3.2 策略
3.3 随机性
3.4 回报与折扣回报
3.4.1 回报
3.4.2 折扣回报
3.4.3 回报中的随机性
3.4.4 有限期MDP和无限期MDP
3.5 价值函数
3.5.1 动作价值函数
3.5.2 最优动作价值函数
3.5.3 状态价值函数
3.6 实验环境：OpenAIGym
知识点小结
习题
第二部分 价值学习
第4章 DQN与Q学习
4.1 DQN
4.1.1 概念回顾
第三部分 策略学习
第四部分 多智能体强化学习
第五部分 应用与展望
附录A 贝尔曼方程
附录B 习题答案
参考文献