本书以打造行业智能助手为主线，全面介绍大模型的理论与实践。本书在内容上侧重于实践，兼顾理论的系统性。全书共4部分: 第1部分为大模型导论（第1章），介绍大模型的相关概念以及大模型的过去、现在与未来；第2部分为理论知识（第2、3章），介绍大模型基础知识和大语言模型分布式训练；第3部分为实践（第4～7章），介绍大模型的继续预训练、对齐、推理与部署，通过实际案例详细介绍如何打造行业智能助手并将其部署到生产环境中；第4部分为高级主题（第8、9章），介绍多模态大模型、AI智能体的最新进展。

本书可以作为大模型领域技术人员的参考书，同时也可以供有志于从事大模型工作的高校相关专业本科生以及从搜索、自然语言处理等方向转向大模型的专业人员自学。

第1章大模型导论1

1.1大模型概念1

1.1.1预训练2

1.1.2有监督微调2

1.1.3偏好对齐2

1.2大模型的过去、现在与未来2

1.2.1大模型简史2

1.2.2大模型的现状4

1.2.3大模型未来展望8

1.3本书的读者对象与内容11

参考文献12

第2章大模型基础知识13

2.1分词13

2.1.1粒度13

2.1.2子词拆分算法13

2.1.3实现14

2.2位置编码15

2.2.1RoPE15

2.2.2ALiBi16

2.3网络结构17

2.3.1Transformer架构17

2.3.2大模型的Transformer架构20

2.3.3MoE模型22

2.4长上下文25

2.4.1采用RoPE位置编码的长上下文扩展25

2.4.2注意力操作优化27

参考文献31

第3章大语言模型分布式训练33

3.1大语言模型高效训练技术要点33

3.2并行模式34

3.2.1数据并行化35

3.2.2流水线并行化35

3.2.3张量并行化37

3.3集合通信38

3.3.1allreduce操作的分解39

3.3.2allreduce操作的高效实现39

3.4DeepSpeed训练加速框架40

3.4.1ZeRO技术41

3.4.2ZeRO技术与流水线并行化结合43

3.4.3ZeRO技术与张量并行化结合43

3.5DeepSpeed训练方案建议44

参考文献45

第4章继续预训练46

4.1继续预训练的必要性46

4.2数据预处理47

4.2.1低质数据过滤48

4.2.2去重48

4.3实战: 行业大模型的继续预训练49

4.3.1数据准备49

4.3.2数据处理50

4.3.3模型训练50

参考文献59

第5章对齐(上)——指令微调60

5.1指令微调的必要性60

5.2微调方法61

5.2.1全参微调61

5.2.2部分参数微调61

5.3指令集的自动构造64

5.3.1指令的大规模自动生成64

5.3.2指令集的进化66

5.3.3拒绝采样66

5.4实战: 打造具有多轮对话能力的行业智能助手66

5.4.1数据准备67

5.4.2数据处理67

5.4.3模型训练69

5.4.4评测74

参考文献75

第6章对齐(下)——强化学习微调76

6.1强化学习微调的必要性76

6.2人类偏好对齐的强化学习建模77

6.3RLHF78

6.3.1RLHF技术基本流程78

6.3.2奖励模型78

6.3.3PPO算法79

6.4RLAIF81

6.4.1偏好标注81

6.4.2微调技术路线83

6.4.3评估83

6.5实战: DeepSpeedChat代码解析84

6.5.1训练奖励模型84

6.5.2PPO训练85

6.6DPO算法90

6.6.1DPO算法目标函数推导91

6.6.2Online DPO算法92

参考文献94

第7章推理与部署95

7.1推理加速95

7.1.1常规工程化手段95

7.1.2自注意力计算访存优化97

7.1.3推测解码97

7.2量化102

7.2.1量化感知训练103

7.2.2训练后量化104

7.3部署109

7.3.1TensorRTLLM109

7.3.2vLLM111

7.3.3DeepSpeed Inference111

7.3.4SGLang112

7.3.5平台选型建议112

7.4实战: 使用FastChat部署Qwen 14B113

7.4.1准备工作113

7.4.2部署113

参考文献115

第8章多模态大模型116

8.1多模态技术路线116

8.2桥接多模态大模型120

8.2.1Flamingo121

8.2.2BLIP系列124

8.2.3LLaVA128

8.2.4OneLLM129

8.3原生多模态大模型131

8.3.1Gemini132

8.3.2GPT4o133

8.3.3Chameleon133

参考文献136

第9章AI智能体137

9.1AI智能体架构138

9.1.1感知139

9.1.2规划139

9.1.3记忆143

9.1.4行动147

9.2开发框架149

9.2.1LangChain149

9.2.2AutoGen150

9.2.3AGENTS151

9.2.4MetaGPT153

参考文献154