随着ChatGPT等大语言模型的迅速发展，大语言模型已经成为人工智能领域发展的快车道，不同领域涌现出各种强大的新模型。开发者想要独立构建、部署符合自身需求的大语言模型，需要理解大语言模型的实现框架和基本原理。 本书梳理大语言模型的发展，首先介绍Transformer模型的基本原理、结构和模块及在NLP任务中的应用；然后介绍由只编码（Encoder-Only）到只解码（Decoder-Only）的技术路线发展过程中对应的BERT、GPT等大语言模型；接下来介绍大语言模型在部署、训练、调优过程中涉及的各种关键技术，如自动并行、预训练与微调、RLHF等，并提供相应的实践指导；最后以开源大语言模型BLOOM和LLaMA为样例，介绍其架构和实现过程，帮助读者理解并构建、部署自己的大语言模型。本书还提供了基于MindSpore框架的丰富样例代码。 本书适合人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生和研究生阅读，同时也为从事大语言模型相关工作的软件开发工程师和科研人员提供翔实的参考资料。

第1章 大语言模型的发展
1.1 人工智能的发展阶段
1.2 从深度学习到大语言模型
第2章 Transformer模型
2.1 Transformer模型的基本原理
2.1.1 注意力机制
2.1.2 自注意力机制
2.1.3 多头注意力机制
2.2 Transformer模型的结构和模块
2.2.1 位置编码
2.2.2 编码器
2.2.3 解码器
2.2.4 模型代码
2.3 Transformer模型在NLP任务中的应用
2.4 使用MindSpore实现基于Transformer模型的文本机器翻译模型
2.4.1 数据集准备与数据预处理
2.4.2 模型构建
2.4.3 模型训练与评估
2.4.4 模型推理
2.5 参考文献
第3章 BERT实践
3.1 BERT基本原理
3.2 BERT结构
3.3 BERT预训练
3.4 BERT微调
3.5 使用MindSpore实现数据并行的BERT预训练
3.6 参考文献
第4章 GPT实践
4.1 GPT基本原理
4.2 GPT训练框架
4.2.1 无监督预训练
4.2.2 有监督微调
4.2.3 GPT下游任务及模型输入
4.3 使用MindSpore实现GPT的微调
4.3.1 数据预处理
4.3.2 模型定义
4.3.3 模型训练
4.3.4 模型评估
4.4 参考文献
第5章 GPT-2实践
5.1 GPT-2的基本原理
5.2 GPT-2的技术创新与改进
5.3 GPT-2的优缺点
5.4 使用MindSpore实现GPT-2的微调
5.5 参考文献
第6章 自动并行
6.1 数据并行原理
6.2 算子并行原理
6.3 优化器并行原理
6.3.1 背景及意义
6.3.2 基本原理
6.4 流水线并行原理
6.4.1 背景及意义
6.4.2 基本原理
6.5 MoE并行原理
6.5.1 背景及意义
6.5.2 算法原理
6.6 自动并行策略搜索
6.6.1 策略搜索定位
6.6.2 策略搜索算法
6.6.3 MindSpore实践
6.7 异构计算
6.7.1 计算流程
6.7.2 优化器异构
6.7.3 词表异构
6.7.4 参数服务器异构
6.7.5 多层存储
6.8 大语言模型性能分析
6.8.1 缩短单个模块耗时
6.8.2 提高不同模块任务间的并行度
6.9 MindFormers接口
6.9.1 准备工作
6.9.2 Trainer高阶接口快速入门
6.9.3 Pipeline推理接口快速入门
6.9.4 AutoClass快速入门
6.9.5 Transformer接口介绍
6.10 参考文献
第7章 大语言模型预训练与微调
7.1 预训练大语言模型代码生成
7.1.1 多语言代码生成模型CodeGeeX
7.1.2 多语言代码生成基准HumanEval
7.2 提示调优
7.2.1 提示流程
7.2.2 提示模板
7.2.3 优缺点分析
7.3 指令调优
7.3.1 基本流程
7.3.2 指令模板
7.3.3 优缺点分析
7.4 参考文献
第8章 基于人类反馈的强化学习
8.1 基本原理
8.2 强化学习
8.2.1 核心思想
8.2.2 关键元素
8.2.3 策略与价值函数
8.2.4 PPO算法
8.3 InstructGPT和ChatGPT中的RLHF
8.3.1 训练流程
8.3.2 训练任务
8.3.3 模型效果
8.4 优缺点分析
8.5 参考文献
第9章 BLOOM和LLaMA模型实践
9.1 BLOOM介绍
9.1.1 模型结构
9.1.2 预训练数据集
9.2 BLOOM实现
9.2.1 BLOOM架构实现
9.2.2 BLOOM总结
9.3 基于BLOOM的微调
9.3.1 数据集准备
9.3.2 Checkpoint转换
9.3.3 生成集群通信表
9.3.4 启动预训练或微调
9.3.5 微调后的对话效果
9.4 LLaMA模型介绍
9.4.1 模型结构
9.4.2 预训练
9.4.3 SFT与RLHF
9.5 LLaMA模型实现
9.5.1 LLaMA模型模块实现
9.5.2 LLaMA模型结构实现
9.6 基于LLaMA模型的微调
9.6.1 数据集准备
9.6.2 ckpt转换
9.6.3 生成集群通信表
9.6.4 启动微调
9.6.5 微调效果
9.7 参考文献