本书针对城市道路交通信号控制这一热点问题，重点关注基于深度强化学习的城市道路交通信号优化控制。本书从深度强化学习的基础原理入手，介绍了其在城市道路交通信号控制中的应用，并详细分析了多Agent（智能体）协调、交通信号控制优化等实际问题。本书旨在帮助读者更好地理解深度强化学习在交通信号控制中的应用，以及解决实际问题的方法。同时，本书也为交通领域的研究人员、工程师和学生提供了实用的工具与方法。 本书的内容涵盖深度强化学习的基础理论、城市道路交通信号控制的实际问题、基于深度强化学习的解决方案以及实验验证等方面。本书通过理论与实践相结合的方式，详细讲解了深度强化学习在城市道路交通信号控制中的应用，同时也深入探讨了这种方法的优点和不足之处。本书不仅适合交通领域的研究人员、工程师和学生阅读，而且适合人工智能领域的研究人员和学生阅读。读者可以通过本书学习到如何使用深度强化学习算法解决城市道路交通信号控制问题，掌握相关的实用技术和方法，从而在实际应用中取得更好的效果。

第1章 道路交通信号控制
1.1 智能交通系统简介
1.2 交通拥堵与交通控制
1.3 新兴技术面临的挑战
1.4 大规模城市交通控制
1.5 深度强化学习方法
1.6 研究所用方法小结
第2章 深度强化学习
2.1 深度强化学习简介
2.1.1 监督学习、无监督学习与强化学习
2.1.2 马尔可夫决策过程
2.1.3 时序差分学习
2.1.4 基于值的强化学习方法
2.1.5 基于策略的强化学习方法
2.2 强化学习模型
2.2.1 Q学习
2.2.2 SARSA
2.2.3 Max-plus
2.2.4 演员-评论家模型
2.2.5 其他算法
2.3 动作选择模型
2.3.1 E-greedy算法
2.3.2 玻尔兹曼算法
2.3.3 UCB算法
2.4 深度学习
2.4.1 深度学习与强化学习的区别
2.4.2 激活函数
2.4.3 Dropout 则化问题
2.4.4 多层感知机
2.4.5 卷积神经网络
2.4.6 循环神经网络
2.4.7 长短时记忆网络
2.4.8 图神经网络
2.4.9 Transformer模型
2.5 强化学习在交通信号控制中的应用
2.5.1 主要变量定义
2.5.2 单一Agent应用
2.5.3 多Agent应用
2.6 小结
第3章 深度多Agent强化学习
3.1 深度多Agent强化学习简介
3.1.1 多Agent强化学习
3.1.2 MARL面临的挑战
3.1.3 MARL研究综述
3.2 多Agent协调
3.2.1 面向多Agent合作的博弈论
3.2.2 多Agent强化学习方法分类
3.3 博弈论与深度强化学习
3.3.1 整和博弈中的学习方法
3.3.2 多Agent博弈中的学习方法
第4章 演化网络博弈与强化学习结合下的区域交通优化
4.1 网络演化博弈中的合作行为
4.2 演化博弈中的个体异质性研究
4.2.1 演化博弈模型
4.2.2 仿真实验及结果分析
4.3 基于Q学习的个体决策机制研究
4.3.1 Q学习演化博弈模型
4.3.2 三种Q学习决策机制的对比
4.3.3 仿真结果及分析
4.4 基于QL-EG的区域交通优化实验
4.4.1 仿真系统搭建
4.4.2 基于QL-EG的区域交通优化仿真实验
4.4.3 小结
第5章 交通信号控制中的深度强化学习方法
5.1 深度强化学习在交通信号控制中的研究现状
5.2 深度强化学习算法
5.2.1 DQN
5.2.2 DDQN
5.2.3 A3C
5.2.4 DDPG
5.3 实验验证
5.3.1 仿真环境
5.3.2 深度强化学习参数设置
5.3.3 基于DQN的交通控制实验
5.3.4 基于DDQN的交通控制优化实验
5.3.5 基于A3C的交通控制优化实验
5.3.6 基于DDPG的交通控制实验
5.4 小结
第6章 多Agent强化学习分层博弈模型研究
6.1 混合任务型的MARL算法在交通信号控制中的研究
6.2 基于Nash-Stackelberg分层博弈模型的区域交通信号控制
6.2.1 Nash-Stackelberg分层博弈模型
6.2.2 基于Nash-Stackelberg分层博弈模型的MARL算法
6.2.3 基于Nash-Stackelberg分层博弈模型的MADRL算法
6.3 实验与结果
6.3.1 实验设置
6.3.2 NSHG-QL算法实验结果
6.3.3 NSHG-DQN算法实验结果
第7章 基于平均场多智能体强化学习的区域交通信号协调控制方法
7.1 平均场多智能体强化学习
7.1.1 随机博弈
7.1.2 Nash-Q学习
7.1.3 平均场近似
7.1.4 算法设计
7.2 仿真实验设置及结果分析
7.2.1 北京市石景山区城市道路区域仿真路网
7.2.2 实验设置
7.2.3 仿真实验结果分析
7.3 小结
第8章 总结与展望
8.1 协调
8.1.1 独立学习
8.1.2 模型构建
8.1.3 分层方法
8.2 可计算性
8.2.1 知识复用
8.2.2 降低复杂性
8.2.3 鲁棒性
8.3 未来的工作
8.3.1 发展趋势
8.3.2 研究展望
参考文献