中国电科院教授级高工

本书围绕多智能体技术在储能领域的应用，采用理论与实践相结合的方式，通过对其技术路径、方法原理、编程环境及实际案例项目的讲解，构筑起一套面向智慧储能的多智能体技术应用体系，帮助广大读者快速掌握多智能体技术，并深刻理解智慧储能相关理论、技术及应用。
本书共11章，主要介绍多智能体系统、强化学习算法及其在储能电站管理中的应用。其中，第1～4章主要介绍多智能体技术及其编程开发环境；第5、6章主要介绍强化学习、多智能体深度强化学习相关算法原理及其应用；第7～10章重点介绍多智能体技术在储能领域的相关应用案例；第11章总结展望多智能体技术及智慧储能的应用现状与发展趋势。
本书可以作为人工智能、控制工程等相关专业的参考用书，也适合能源控制领域爱好者阅读。

序一
序二
前言
第1章 绪论 1
1.1 多智能体技术 1
1.2 多智能体技术的应用 2
1.3 JADE简介 3
1.4 强化学习 4
1.5 本书介绍 7
第2章 智能体技术概述 9
2.1 关于智能体 9
2.1.1 智能体和多智能体系统 9
2.1.2 基于智能体的计算系统体系结构 10
2.1.3 基于智能体的计算系统管理 11
2.2 关于FIPA 12
2.2.1 术语和定义 12
2.2.2 FIPA抽象体系结构 13
2.2.3 智能体管理规范 18
2.2.4 智能体消息传输服务 21
2.2.5 FIPA本体服务 22
2.2.6 FIPA ACL消息结构 24
2.3 FIPA与JADE的关系 34
2.4 本章小结 36
第3章 JADE平台 37
3.1 JADE平台和智能体范式 37
3.2 JADE平台的体系结构 39
3.2.1 JADE组件 39
3.2.2 JADE 智能体系统体系结构 40
3.2.3 主要体系元素之间的关系 41
3.2.4 JADE平台容错机制 42
3.3 JADE包 43
3.4 图形化平台管理工具 47
3.4.1 智能体与GUI之间的交互机制 47
3.4.2 远程监视控制台 48
3.5 JADE安装及使用 57
3.5.1 开发环境 57
3.5.2 环境变量配置 57
3.5.3 平台使用 60
3.6 本章小结 62
第4章 JADE编程基础 63
4.1 JADE智能体生命周期控制 63
4.1.1 创建一个简单的JADE智能体 63
4.1.2 智能体标识符 66
4.1.3 智能体终止 67
4.1.4 CMD窗口下的AP控制 68
4.1.5 向智能体传递参数 69
4.1.6 MyEclipse环境下JADE体系结构部署 71
4.2 智能体任务 75
4.2.1 一般任务模型 77
4.2.2 简单任务模型 78
4.2.3 复杂任务模型 84
4.3 智能体之间通信 89
4.3.1 发送/接收消息 89
4.3.2 消息模板 91
4.4 黄页服务 94
4.4.1 发布服务 94
4.4.2 搜索服务 95
4.5 本章小结 99
第5章 强化学习 100
5.1 强化学习算法 100
5.1.1 概述 100
5.1.2 学习任务 102
5.1.3 Q学习 103
5.1.4 资格迹 108
5.2 应用案例 109
5.2.1 基于强化学习的五子棋AI设计 109
5.2.2 基于强化学习的城市道路单交叉口交通信号优化控制 114
5.3 本章小结 131
第6章 多智能体强化学习 132
6.1 多智能体强化学习算法 132
6.1.1 概述 132
6.1.2 梯度上升算法 133
6.1.3 WoLF-PHC算法 134
6.1.4 FMRQ算法 137
6.2 多智能体强化学习在重复博弈中的分析 142
6.2.1 对IQL算法建模 142
6.2.2 对FMRQ算法进行收敛性分析 146
6.3 应用案例 154
6.3.1 分布式传感器网络 154
6.3.2 推箱子问题 157
6.3.3 两AGV任务调度与路径规划 160
6.4 本章小结 162
第7章 基于多智能体系统的光储荷微网控制 163
7.1 基于MAS的光储荷微网能量管理系统结构 163
7.2 智能体之间协调策略 164
7.2.1 微网内部智能体之间的协调 165
7.2.2 微网间智能体的协调 167
7.3 基于JADE的智能体系统实现 168
7.3.1 光伏智能体PVA 168
7.3.2 负荷智能体LoadA 171
7.3.3 储能智能体BatA 174
7.3.4 微网智能体MIA 177
7.3.5 全局智能体GIA 183
7.4 仿真结果及分析 186
7.4.1 仿真实例 186
7.4.2 基于JADE的MAS结构 188
7.4.3 结果及分析 188
7.5 本章小结 190
第8章 大规模电池储能电站多智能体协调控制 191
8.1 多智能体及其分层控制体系结构 191
8.1.1 多智能体控制的分层架构 191
8.1.2 基于多智能体的监控架构 191
8.2 多智能体分区自治的储能电站控制架构 194
8.2.1 单个智能体的仿真模型 196
8.2.2 多个智能体的仿真模型 196
8.2.3 基于多智能体的电池储能电站分区控制能力分析 197
8.3 基于多智能体的储能电站协调控制技术 198
8.3.1 不同运行工况下的储能电站功率控制思路 198
8.3.2 基于多智能体粒子群的储能电站功率控制技术 198
8.4 本章小结 203
第9章 基于多智能体的储能电站能量管理 204
9.1 基于多智能体的储能平滑新能源发电控制技术 204
9.1.1 平滑新能源发电的定义 204
9.1.2 平滑新能源发电的储能控制技术 205
9.2 基于多智能体的储能跟踪发电计划控制技术 208
9.2.1 储能跟踪计划发电的定义 208
9.2.2 储能跟踪计划发电的控制方法 209
9.3 兼顾平滑与跟踪计划的风光储系统多智能体能量管理技术 211
9.3.1 兼顾平滑与跟踪计划的技术要求 211
9.3.2 兼顾平滑与跟踪计划的储能系统控制技术 212
9.4 仿真案例分析 213
9.4.1 兼顾平滑和跟踪计划的储能电站控制效果仿真分析 213
9.4.2 百兆瓦级电池储能电站削峰填谷的仿真分析 215
9.4.3 百兆瓦级电池储能电站跟踪调频指令的仿真分析 218
9.5 本章小结 220
第10章 基于多智能体的储能电站集群多维资源协同调度 222
10.1 大规模储能电站协同管控架构及潜在问题 222
10.2 基于多智能体的储能电站集群多维资源协同调度模型 223
10.2.1 网络模型 224
10.2.2 计算模型 225
10.3 储能电站集群多智能体协同调度的马尔可夫决策过程 227
10.3.1 储能电站集群多维资源协同调度的问题原型 227
10.3.2 储能电站集群多维资源协同调度的MAMDP 228
10.4 基于多智能体的储能电站集群云边端多维资源协同调度 230
10.4.1 多智能体学习过程 230
10.4.2