大模型赋能，重新定义智能机器人的未来。 本书是一部讲解如何用大模型驱动具身智能的权威指南，系统揭示了从底层架构到实战部署的完整技术路径。作者团队融合多年一线研发经验，深入讲解如何在多模态环境中，实现智能机器人的任务理解、动作控制、记忆建构与仿真协同。本书不仅提供扎实的理论基础，更通过丰富的行业案例与系统性的方法论，帮助读者构建面向未来的具身智能系统。 通过阅读本书，你将获得： （1）全面理解大模型如何赋能具身智能。揭示大型语言模型在感知-决策-执行链条中的核心作用，理清从感知到行为的智能演化路径。 （2）掌握任务规划与动作控制核心技术。深度解析任务分解、动作生成、空间约束与控制策略，覆盖从高层意图到低层执行的全链路建模方法。 （3）构建具身智能的记忆与反思机制。学习如何实现任务记忆、动态规划与自我优化机制，提升机器人在复杂环境中的自适应能力。 （4）搭建可复用的开发与仿真框架。熟练运用ROS、MoveIt、Gazebo等核心中间件与仿真平台，助力系统开发与快速迭代。 无论你是正在开发具身智能系统的工程师；投身人工智能前沿的科研人员；关注智能机器人产业落地的技术管理者或产品决策者；本书都将成为你不可或缺的参考读物，引领你从理念到落地，真正掌握大模型时代的具身智能开发的核心技术，让你在这场技术革新中把握先机。

前言
第1章 大模型与具身智能
1.1 具身智能的概念
1.2 传统的决策算法
1.2.1 预编程方法
1.2.2 模仿学习
1.2.3 强化学习
1.3 世界模型
1.3.1 什么是世界模型
1.3.2 世界模型在具身智能中的作用
1.4 通往世界模型的渐进之路
1.4.1 大模型编码世界
1.4.2 多模态大模型构建世界模拟器
第2章 机器人系统架构
2.1 机器人控制基础
2.1.1 机器人的分类与组成
2.1.2 自由度与执行器
2.2 机器人系统设计范式
2.2.1 层次范式
2.2.2 行为范式
2.2.3 混合范式
2.3 运动控制层级
2.3.1 递进规划
2.3.2 反应机制
2.3.3 双向控制架构
2.3.4 分层与端到端
第3章 基于大模型的混合控制架构
3.1 大模型与任务级规划
3.1.1 基础模型
3.1.2 任务级分层与端到端
3.2 大模型与动作级规划
3.2.1 直接动作规划
3.2.2 间接动作规划
3.2.3 动作级分层与端到端
3.2.4 具身大模型
3.3 基元级与伺服级
3.3.1 正向运动学的计算
3.3.2 逆向运动学的计算
3.3.3 伺服级控制
3.3.4 端到端控制网络
3.4 具身智能分级混合架构
第4章 具身任务级规划
4.1 任务分解
4.2 任务级分层与端到端架构
4.2.1 感知与规划
4.2.2 分层架构
4.2.3 端到端架构
4.3 任务级规划微调与外部记忆
4.3.1 具身经验的获取
4.3.2 微调与外部记忆
第5章 分层动作级规划
5.1 动作原语及其局限性
5.1.1 动作原语
5.1.2 技能
5.1.3 局限性
5.2 基于技能的单步动作级规划
5.2.1 低成本具身智能方案
5.2.2 GPTR工作流程
5.2.3 局限性
5.3 基于动作原语的直接动作级规划
5.3.1 代码即策略
5.3.2 提示模板
5.3.3 优势与局限性
5.4 基于价值图的动作级分层规划
5.4.1 空间信息与间接动作规划
5.4.2 价值图
5.4.3 动作规划
5.4.4 价值图的构建Prompt
5.4.5 优势与局限性
5.5 基于空间位置约束的动作级分层规划
5.5.1 空间位置约束与轨迹优化
5.5.2 面向任务的抓取
5.5.3 任务感知动作规划
5.5.4 视觉语言模型与Prompt
5.5.5 优势与局限性
第6章 端到端动作级规划
6.1 统一模型与多任务模型
6.2 视觉语言动作模型
6.2.1 动作规划流程
6.2.2 控制原语
6.2.3 控制参数的离散化
6.2.4 动作序列文本化
6.2.5 词表
6.2.6 具身动作微调
6.2.7 动作输出限制
6.2.8 优势和局限性
6.3 多任务端到端
6.3.1 端到端中的多任务
6.3.2 多任务端到端网络架构
6.3.3 特征提取任务
6.3.4 感知任务
6.3.5 预测任务
6.3.6 规划任务
6.3.7 多任务的分步训练
6.3.8 特斯拉全自动驾驶的多任务架构
6.3.9 具身任务迁移
6.3.10 优势和局限性
第7章 具身智能记忆
7.1 人类记忆
7.2 大模型的记忆机制
7.2.1 参数记忆
7.2.2 上下文与工作记忆
7.2.3 外部记忆
7.3 具身智能系统中的记忆机制实现
7.3.1 记忆来源
7.3.2 记忆实现方式
7.3.3 基于RAG的外部记忆机制
7.3.4 大模型参数微调及参数编辑
7.4 记忆在具身智能系统中的作用
7.4.1 记忆驱动具身智能
7.4.2 技能学习与泛化
第8章 决策优化
8.1 多计划选择
8.1.1 多计划生成
8.1.2 最优计划选择
8.2 反思与提炼
8.2.1 反思与提炼的过程
8.2.2 多角色
8.2.3 局限性
8.3 外部规划器
8.3.1 符号规划器
8.3.2 神经网络规划器
第9章 中间件与基础库
9.1 ROS机器人中间件框架
9.1.1 ROS的生态系统
9.1.2 ROS 2架构
9.1.3 分布式通信模式
9.1.4 节点
9.1.5 参数配置
9.2 Movelt 2逆向运动库
9.2.1 基本概念和功能
9.2.2 Movelt 2的解算器库
9.2.3 逆向规划的一般过程
9.3 人形具身逆向运动库
9.3.1 全身逆向运动
9.3.2 人体姿态表征
9.3.3 交互表征
9.3.4 具身数据收集
9.3.5 逆向运动迁移
9.3.6 轨迹优化
第10章 仿真框架
10.1 仿真框架的组成
10.2 仿真环境构建
10.2.1 交互方式
10.2.2 环境描述
10.3 代理
10.4 分层任务规划
10.5 运动生成器
10.6 强化学习支持
10.6.1 框架封装
10.6.2 并行仿真环境
10.6.3 从仿真到现实
10.7 模仿学习和远程操作
第11章 具身智能的未来
11.1 具身智能机器人：短暂泡沫还是未来趋势
11.1.1 人形具身热潮
11.1.2 智能化与人形具身
11.2 行业渗透预