本书围绕城市交通信号控制难题，综合运用智能计算与深度强化学习技术展开介绍。开篇阐述了交通拥堵现状及智能交通系统发展背景，梳理了交通信号控制技术的研究现状。接着，针对多交叉口信号协同控制，提出半分布式三层框架及相应优化模型与算法；针对传统车流动力学建模局限，引入单智能体深度强化学习方法，创新动作空间、奖励函数等；针对多交叉口信号控制难题，提出新算法并结合平均场理论等机制，解决维度灾难和Q值过估计问题。 本书所提模型和算法均通过仿真实验，有较强的实践指导意义。本书适合交通工程领域的工程师及科研人员学习，也可用作高等院校相关专业的教学参考书。

第1章 绪论
1.1 交通信号控制技术研究背景
1.2 交通信号控制技术分类及国内外研究现状
1.2.1 基于经典方法的交通信号控制技术
1.2.2 基于深度强化学习的交通信号控制技术
1.2.3 基于车联网的交通信号控制技术
1.2.4 交通信号控制技术的研究现状
1.3 本书主要思路及内容
1.3.1 主要思路
1.3.2 主要内容
第2章 基础知识
2.1 进化计算方法概述
2.2 强化学习概述
2.3 单智能体深度强化学习
2.4 多智能体深度强化学习
2.4.1 随机博弈
2.4.2 纳什Q学习
2.4.3 多智能体深度确定性策略梯度算法
2.5 平均场多智能体强化学习
2.5.1 平均场近似理论
2.5.2 平均场多智能体强化学习算法
2.6 本章小结
第3章 基于车流动力学的交通信号控制问题建模及优化算法
3.1 引言
3.2 交通场景下的基本参数和评价指标
3.2.1 基本参数
3.2.2 评价指标
3.3 多交叉口交通信号控制问题描述
3.4 多交叉口交通信号控制问题建模
3.4.1 相位差延迟模型
3.4.2 绿信比延迟模型
3.4.3 改进的公共周期模型
3.4.4 信号协同优化模型
3.4.5 交叉口分级策略
3.5 基于免疫的烟花算法
3.5.1 烟花算法和免疫机制的基本思想
3.5.2 基于免疫的烟花算法设计
3.6 仿真与分析
3.6.1 仿真环境及实验参数设置
3.6.2 交通环境下的仿真与分析
3.6.3 标准函数下的仿真与分析
3.7 本章小结
第4章 基于深度强化学习的单智能体交通信号控制
4.1 引言
4.2 基于马尔可夫决策过程的交通信号控制问题描述
4.2.1 状态空间
4.2.2 动作空间
4.2.3 奖励函数
4.2.4 累积延迟的近似
4.3 基于动态权重的soft actor-critic算法
4.3.1 动态权重
4.3.2 基于动态权重的soft actor-critic算法设计
4.4 仿真与分析
4.4.1 仿真平台设置
4.4.2 算法参数设置
4.4.3 交通环境下的仿真与分析
4.4.4 标准连续控制任务下的仿真与分析
4.5 本章小结
第5章 基于深度强化学习的多智能体交通信号控制
5.1 引言
5.2 基于马尔可夫博弈的交通信号控制问题描述
5.3 合作的基于指数加权移动平均的动态延迟更新双延迟深度确定性策略梯度算法
5.3.1 强化学习中的Q值过估计问题
5.3.2 基于指数加权移动平均的动态延迟更新策略
5.3.3 合作的基于指数加权移动平均的动态延迟更新双延迟深度确定性策略梯度算法设计
5.4 仿真与分析
5.4.1 仿真平台设置
5.4.2 算法参数设置
5.4.3 仿真结果与分析
5.5 本章小结
第6章 总结与展望
6.1 总结
6.2 展望
附录
参考文献