《多智能体机器人系统信息融合与协调》提出了一种基于Markov对策的多Agent协调框架并给出了相应的算法。通过对多Agent环境的分析，在对策论框架下进行多Agent协调，重点研究了MAS中敌对平衡与协作平衡的多Agent学习算法。基于多Agent中竞争和合作的关系，设计了一种分层结构处理多Agent协调：利用零和Markov进行Agent群体之间的竞争与对抗，利用团队Markov对策完成Agent群体内部的协调与合作。机器人足球赛结果表明了本方法的可行性及优越性。

　　《多智能体机器人系统信息融合与协调》：
　　3.2.1 协调的基本概念
　　协调是人类社会最常见的活动，在商贸交易、社会关系乃至政治活动中有着举足轻重的作用，也是MAS研究的重要内容。协调是以利益为中心的。对于协调的需求，是由于实体、信息、资源的分布特性以及它们之间的相互依赖而产生的。协调就是在这样的特性和相互依赖关系条件下，Agent个体通过选择合理的行为以适应环境的活动。适应环境往往可以看做两个方面：第一，在环境中“生存”下来；第二，争取利益最大化。为了达到这两方面的目标，Agent个体必须了解环境和其他Agent，甚至与其他Agent进行交互、合作来达成互利关系。
　　在社会关系中，人首先需要生存，然后才是发展。从原始社会到现代社会的进化表明，人与人之间的关系越来越趋向于更紧密、更和谐。任何人都不可能无视他人的存在。与其他人交换信息，寻求更多的朋友，可以使个人的生活、工作更顺利，这种协调是人类进化的结果。在政治活动中，同样存在着协调活动。人们往往说“政治就是政客们在交换利益”，然而，正是这样的利益交换给人们带来了民主与社会和谐。社会中人按照不同的地域、职业、信仰等分成不同的利益群体。这些利益关系反映在政治活动中，就是人们以及代表不同群体的政客或政治家之间的交互，包括选举、协商、行政命令实施等。
　　对于协调概念的描述，不同领域有不同的表述。Wegner认为协调是管理复合系统组件间的相互作用；Gelernter和Nicholas认为协调就是将独立活动绑定为一体；Malone和Crowston认为协调是管理实体之间的相互依赖；Jennings指出协调的关键是为了达到目标，它是Agent通过推理自己和参与的其他Agent的行为，来保证团队行动上的一致性；张维明等认为协调是指主体对自己的局部行为进行推理，并估计其他主体的行为，以保证协作行为以连贯的方式进行的一个过程；罗明提出多Agent协调是指一组智能体对其目标、资源等进行合理安排，以调整各自行为，最大限度地实现各自目标的过程。总之，在MAS中，每一个Agent对于整体系统仅仅具有局部的和不精确的看法，如果没有协调，整个Agent系统就会处于混乱状态，Agent行为之间便会相互干扰，难以完成共同的目标。
　　……

《智能科学技术著作丛书》序
前言
第1章 绪论
1.1 引言
1.2 多机器人系统中的信息融合
1.2.1 机器人传感器系统
1.2.2 机器人多传感器信息融合
1.3 多机器人协调与合作研究现状
1.4 多Agent信息融合与协调的研究现状
1.4.1 多Agent信息融合
1.4.2 多Agent协调与合作
1.5 机器人足球及其研究进展
1.5.1 机器人足球的发展概况
1.5.2 FIRA机器人足球比赛系统
1.5.3 机器人足球的关键技术和研究热点
1.6 本书的结构和内容安排
参考文献

第2章 多Agent的信息融合模型与方法
2.1 引言
2.2 Agent与MAS的概念及特性
2.2.1 Agent的由来及定义
2.2.2 Agent的特性
2.2.3 MAS的概念与特性
2.2.4 MAS与复杂系统
2.2.5 MAS与智能系统
2.3 信息融合技术概述
2.3.1 信息融合的概念与定义
2.3.2 信息融合的模型
2.3.3 信息融合应用与发展现状
2.4 多Agent信息融合模型
2.4.1 Agent体系结构
2.4.2 MAS体系结构
2.4.3 基于多Agent的信息融合模型
2.5 小结
参考文献

第3章 多Agent协调的学习与对策
3.1 引言
3.2 多Agent协调的理论与方法
3.2.1 协调的基本概念
3.2.2 MAS协调及其理论
3.3 Agent的学习模型与方法
3.3.1 强化学习
3.3.2 Markov决策过程
3.3.3 Q学习算法
3.4 多Agent的协调模型
3.4.1 黑板模型
3.4.2 合同网
3.4.3 通用部分全局规划
3.5 多Agent协调的对策与学习方法
3.5.1 Markov对策概述
3.5.2 冲突博弈
3.5.3 多Agent强化学习
3.6 小结
参考文献

第4章 基于证据推理的多Agent分布式决策
4.1 引言
4.2 证据推理理论
4.2.1 概率的几种解释及其性质
4.2.2 证据理论的数学基础
4.2.3 证据推理的基本概念
4.2.4 Dempster组合规则
4.2.5 证据决策规则
4.2.6 Dempster组合规则存在的问题
4.3 Agent信息模型
4.3.1 单支置信函数
4.3.2 基于证据推理的Agent信息模型
4.4 可传递置信模型
4.4.1 可传递置信模型的基本结构
4.4.2 辨识框架的粗分和细化
4.4.3 Pignistic概率转换
4.5 基于多Agent的分布式决策融合框架及算法
4.5.1 系统框架
4.5.2 融合中心
4.5.3 决策中心
4.6 仿真算例
4.6.1 赛场状态信息
4.6.2 对手的策略
4.7 多Agent分布式决策融合策略
4.7.1 异构融合
4.7.2 可靠性分配
4.7.3 融合处理
4.7.4 在机器人足球中的应用
4.8 小结
参考文献

第5章 强化函数设计方法及其在学习系统的应用
5.1 引言
5.2 强化学习应用中的关键问题
5.2.1 泛化方法
5.2.2 探索与利用的权衡
5.2.3 强化函数与算法结构设计
5.3 强化学习的奖惩函数
5.4 基于平均报酬模型的强化学习算法
5.4.1 报酬模型
5.4.2 最优策略
5.4.3 基于平均报酬模型的强化学习主要算法
5.5 一种基于知识的强化函数设计方法
5.5.1 强化函数的基本设计思想
5.5.2 基于知识的强化函数
5.5.3 仿真实验
5.6 小结
参考文献

第6章 基于分布式强化学习的多Agent协调方法
6.1 引言
6.2 多Agent强化学习基本理论
6.2.1 基于局部合作的Q学习
6.2.2 基于区域合作的Q学习
6.2.3 算法的收敛性
6.3 多Agellt强化学习方法的特性
6.3.1 多Agent强化学习理论及假设的不同
6.3.2 多Agent强化学习模型及框架的差异
6.3.3 多Agent强化学习内容的区别
6.3.4 多Agent强化学习算法设计的迥异
6.4 多Agent强化学习算法的分类与比较
6.4.1 绝对合作型多Agent强化学习算法
6.4.2 绝对竞争型多Agent强化学习算法
6.4.3 混合型多Agent强化学习算法
6.4.4 平衡型多Agent强化学习算法
6.4.5 最佳响应型多Agent强化学习算法
6.4.6 分析与比较
6.5 MAS中的分布式强化学习模型及结构
6.5.1 中央强化学习结构
6.5.2 独立强化学习结构
6.5.3 群体强化学习结构
6.5.4 社会强化学习结构
6.6 基于分布式强化学习的多Agent协调模型及算法
6.6.1 协调级
6.6.2 行为级
6.6.3 强化信息的分配
6.6.4 仿真实验
6.7 小结
参考文献

第7章 基于Markov对策的多Agent协调
7.1 引言
7.2 多Agent交互的协调与博弈分析
7.2.1 多Agent协调与博弈的性质
7.2.2 多Agent协调失败的处理
7.3 多Agent冲突博弈强化学习模型
7.3.1 多Agent冲突博弈
7.3.2 最优策略
7.3.3 基于后悔值的Q学习模型
7.4 Nash-Q学习
7.5 零和Marl~OV对策和团队Markov对策
7.5.1 零和Markov对策
7.5.2 团队Markov对策
7.6 基于Markov对策的多Agent协调策略
7.6.1 对策框架
7.6.2 Tearn级对策
7.6.3 Member级对策
7.6.4 仿真实验
7.7 小结
参考文献

第8章 Agent技术在机器人智能控制系统的应用
8.1 引言
8.2 智能机器人系统应用研究
8.2.1 概况
8.2.2 传统研究方法的缺陷
8.2.3 智能机器人系统的共性
8.3 开放式机器人智能控制系统应用研究
8.3.1 开放式控制系统的典型特征
8.3.2 基于PC的开放式控制系统的实现
8.4 多机器人系统应用研究
8.4.1 多机器人队形控制
8.4.2 机器人救援
8.4.3 多机器人追捕问题
8.5 总结与展望
8.5.1 总结
8.5.2 未来工作展望
参考文献