程戈，博士生导师，湘潭大学技术转移中心副主任，湘潭市京东智能城市与大数据研究院副院长，湘潭大学计算机学院.网络空间学院教授，CCF计算法学会执委，湖南省知识产权保护专家，湖南省知识产权行政保护技术调查官。2011年获得华中科技大学计算机系统结构专业的工学博士学位。
　　研究方面，主要从事知识表示学习与内容安全问题研究，并逐渐聚焦于采用类似Chatgpt大规模语言模型解决人工智能在司法行业中应用的相关场景。近年来，主持国家重点研发子课题2项，湖南省重点研发1项，国家自科基金1项，教育部博士点基金1项，参与其他国家与省部级项目10余项；在国内外重要SSCI/SCI/EI学术期刊和会议发表论文 30 多篇；申请发明专利20多项，获得发明专利授权 20多项，软件著作权10多项。
　　社会服务方面，产学研合作求真务实，在北京捷通华声科技有限公司等6家企业担任技术顾问，主持参与横向课题10余项，多项成果转化应用创效，其中语音识别的单项成果广泛应用于北京捷通华声科技有限公司的车载导航系统中。担任潇湘大数据研究院研究员，大数据与智慧司法研究中心研究员，省创新创业大赛的评委。

内容简介 大模型赋能，重新定义智能机器人的未来。 本书是一部讲解如何用大模型驱动具身智能的权威指南，系统揭示了从底层架构到实战部署的完整技术路径。作者团队融合多年一线研发经验，深入讲解如何在多模态环境中，实现智能机器人的任务理解、动作控制、记忆建构与仿真协同。本书不仅提供扎实的理论基础，更通过丰富的行业案例与系统性的方法论，帮助读者构建面向未来的具身智能系统。 通过阅读本书，你将获得： 

（1）全面理解大模型如何赋能具身智能。揭示大型语言模型在感知-决策-执行链条中的核心作用，理清从感知到行为的智能演化路径。 

（2）掌握任务规划与动作控制核心技术。深度解析任务分解、动作生成、空间约束与控制策略，覆盖从高层意图到低层执行的全链路建模方法。

（3）构建具身智能的记忆与反思机制。学习如何实现任务记忆、动态规划与自我优化机制，提升机器人在复杂环境中的自适应能力。 

（4）搭建可复用的开发与仿真框架。熟练运用 ROS、MoveIt、Gazebo 等核心中间件与仿真平台，助力系统开发与快速迭代。 无论你是正在开发具身智能系统的工程师；投身人工智能前沿的科研人员；关注智能机器人产业落地的技术管理者或产品决策者；本书都将成为你不可或缺的参考读物，引领你从理念到落地，真正掌握大模型时代的具身智能开发的核心技术，让你在这场技术革新中把握先机。

前言
第1章　大模型与具身智能1　
　1.1　具身智能的概念1
　1.2　传统的决策算法3
1.2.1　预编程方法4
1.2.2　模仿学习5
1.2.3　强化学习6
　1.3　世界模型8
1.3.1　什么是世界模型8
1.3.2　世界模型在具身智能中的作用10
　1.4　通往世界模型的渐进之路12
1.4.1　大模型编码世界12
1.4.2　多模态大模型构建世界模拟器14
第2章　机器人系统架构19　
　2.1　机器人控制基础19
2.1.1　机器人的分类与组成19
2.1.2　自由度与执行器22
　2.2　机器人系统设计范式24
2.2.1　层次范式24
2.2.2　行为范式25
2.2.3　混合范式27
　2.3　运动控制层级27
2.3.1　递进规划28
2.3.2　反应机制30
2.3.3　双向控制架构31
2.3.4　分层与端到端33
第3章　基于大模型的混合控制架构36　
　3.1　大模型与任务级规划36
3.1.1　基础模型36
3.1.2　任务级分层与端到端39
　3.2　大模型与动作级规划41
3.2.1　直接动作规划41
3.2.2　间接动作规划43
3.2.3　动作级分层与端到端44
3.2.4　具身大模型45
　3.3　基元级与伺服级46
3.3.1　正向运动学的计算46
3.3.2　逆向运动学的计算48
3.3.3　伺服级控制49
3.3.4　端到端控制网络50
　3.4　具身智能分级混合架构51
第4章　具身任务级规划54
　4.1　任务分解54
　4.2　任务级分层与端到端架构57
4.2.1　感知与规划57
4.2.2　分层架构57
4.2.3　端到端架构58
　4.3　任务级规划微调与外部记忆61
4.3.1　具身经验的获取61
4.3.2　微调与外部记忆63
第5章　分层动作级规划65
　5.1　动作原语及其局限性65
5.1.1　动作原语66
5.1.2　技能68
5.1.3　局限性68
　5.2　基于技能的单步动作级规划70
5.2.1　低成本具身智能方案70
5.2.2　GPTR工作流程71
5.2.3　局限性73
　5.3　基于动作原语的直接动作级规划75
5.3.1　代码即策略75
5.3.2　提示模板77
5.3.3　优势与局限性78
　5.4　基于价值图的动作级分层规划80
5.4.1　空间信息与间接动作规划80
5.4.2　价值图81
5.4.3　动作规划83
5.4.4　价值图的构建Prompt86
5.4.5　优势与局限性87
　5.5　基于空间位置约束的动作级分层规划88
5.5.1　空间位置约束与轨迹优化89
5.5.2　面向任务的抓取91
5.5.3　任务感知动作规划92
5.5.4　视觉语言模型与Prompt94
5.5.5　优势与局限性95
第6章　端到端动作级规划97
　6.1　统一模型与多任务模型97
　6.2　视觉语言动作模型99
6.2.1　动作规划流程99
6.2.2　控制原语101
6.2.3　控制参数的离散化101
6.2.4　动作序列文本化103
6.2.5　词表103
6.2.6　具身动作微调105
6.2.7　动作输出限制106
6.2.8　优势和局限性108
　6.3　多任务端到端109
6.3.1　端到端中的多任务109
6.3.2　多任务端到端网络架构111
6.3.3　特征提取任务112
6.3.4　感知任务113
6.3.5　预测任务115
6.3.6　规划任务117
6.3.7　多任务的分步训练118
6.3.8　特斯拉全自动驾驶的多任务架构119
6.3.9　具身任务迁移122
6.3.10　优势和局限性123
第7章　具身智能记忆125
　7.1　人类记忆125
　7.2　大模型的记忆机制127
7.2.1　参数记忆127
7.2.2　上下文与工作记忆129
7.2.3　外部记忆130
　7.3　具身智能系统中的记忆机制实现131
7.3.1　记忆来源131
7.3.2　记忆实现方式133
7.3.3　基于RAG的外部记忆机制134
7.3.4　大模型参数微调及参数编辑135
　7.4　记忆在具身智能系统中的作用137
7.4.1　记忆驱动具身智能137
7.4.2　技能学习与泛化139
第8章　决策优化142
　8.1　多计划选择142
8.1.1　多计划生成143
8.1.2　最优计划选择144
　8.2　反思与提炼146
8.2.1　反思与提炼的过程146
8.2.2　多角色147
8.2.3　局限性148
　8.3　外部规划器149
8.3.1　符号规划器149
8.3.2　神经网络规划器151
第9章　中间件与基础库154
　9.1　ROS机器人中间件框架154
9.1.1　ROS的生态系统155
9.1.2　ROS 2架构156
9.1.3　分布式通信模式157
9.1.4　节点161
9.1.5　参数配置162
　9.2　MoveIt 2逆向运动库164
9.2.1　基本概念和功能164
9.2.2　MoveIt 2的解算器库165
9.2.3　逆向规划的一般过程166
　9.3　人形具身逆向运动库167
9.3.1　全身逆向运动167
9.3.2　人体姿态表征168
9.3.3　交互表征171
9.3.4　具身数据收集173
9.3.5　逆向运动迁移175
9.3.6　轨迹优化176
第10章　仿真框架178
　10.1　仿真框架的组成179
　10.2　仿真环境构建181
10.2.1　交互方式181
10.2.2　环境描述183
　10.3　代理184
　10.4　分层任务规划186
　10.5　运动生成器188
　10.6　强化学习支持189
10.6.1　框架封装190
10.6.2　并行仿真环境190
10.6.3　从仿真到现实192
　10.7　模仿学习和远程操作195
第11章　具身智能的未来197
　11.1　具身智能机器人：短暂泡沫还是未来趋势197
11.1.1　人形具身热潮197
11.1.2　智能化与人形具身198
　11.2　行业渗透预测200
11.2.1　成熟度曲线200
11.2.2　行业成熟度202
11.2.3　加速的发展浪潮203