本书采用了通俗易懂的语言来描述技术与算法，详细介绍了基于大模型的生成式AI开发技术，涵盖了自然语言处理、语音识别及计算机视觉与图像生成等不同领域。首先在比对生成式AI与判别式AI的基础之上，讲解了大模型的基础知识及相关应用技巧，从文本向量化入手深入剖析了转换器架构的各项核心技术，通过丰富的示例阐述了大模型处理相关任务时的代码实现、模型加载、数据预处理和流水线等机制；随后深入探讨了在大模型部署过程中对算力及存储需求的估算方法，揭示了模型性能与模型规模之间的幂律关系；最后详细介绍了大模型的分布式预训练技术与高效的参数微调方法，还针对大模型对齐人类偏好的一些技术和算法进行了专门讲解。 本书适合对机器学习有一定的理解并具有基本的编程知识的生成式AI开发领域初学者，同时也是了解和进入人工智能应用领域不可多得的技术参考书籍。

第1章 走进生成式AI
1.1 生成式AI概述
1.1.1 机器学习概览
1.1.2 梯度下降与反向传播
1.1.3 生成式与判别式
1.1.4 小模型与大模型
1.2 解锁大模型
1.2.1 从大数据到大模型
1.2.2 涌现能力
1.2.3 提示工程
1.3 拥抱生成式AI
1.3.1 获取智能
1.3.2 应用智能
1.3.3 知识截止与幻觉
1.4 本章小结
第2章 开发生成式AI
2.1 搭建生成式AI项目
2.1.1 安装Python
2.1.2 安装VSCode
2.1.3 配置虚拟环境
2.1.4 执行代码27
2.2 Python机器学习编程
2.2.1 从类型到张量
2.2.2 从控制语句到数据处理
2.2.3 从函数到可调用对象
2.2.4 模块与包
2.3 生成式AI项目生命周期
2.3.1 范围与模型
2.3.2 适配与对齐
2.3.3 优化与增强
2.3.4 周期迭代
2.4 本章小结
第3章 转换器架构
3.1 文本向量化
3.1.1 分词
3.1.2 分词器
3.1.3 独热向量与嵌入向量
3.2 词嵌入算法简介
3.2.1 嵌入矩阵
3.2.2 Word2Vec
3.2.3 GloVe
3.2.3 t-SNE
3.3 多头自注意力机制
3.3.1 自注意力与多头
3.3.2 算法实现
3.4 白话转换器模型
3.4.1 编码器与解码器
3.4.2 再论多头自注意力
3.4.3 转换器模型种类
3.4.4 模型进化树
3.5 本章小结
第4章 自然语言处理
4.1 自然语言理解任务
4.1.1 文本分类
4.1.2 词元分类
4.1.3 问答
4.2 自然语言生成任务
4.2.1 翻译
4.2.2 摘要
4.2.3 文本生成
4.2.4 填充掩码
4.3 解构流水线
4.3.1 流水线
4.3.2 分词器
4.3.3 模型
4.4 本章小结
第5章 音频处理
5.1 音频分类与语音识别
5.1.1 音频分类
5.1.2 基于Wav2Vec识别语音
5.1.3 基于Whisper识别语音
5.1.4 文本到语音
5.2 音频数字化特征
5.2.1 从声音到音频
5.2.2 波形数据
5.2.3 时频谱数据
5.2.4 梅尔时频谱
5.3 特征提取与音频流水线
5.3.1 特征提取器
5.3.2 音频模型
5.3.3 多模态处理器及流水线拆解
5.4 本章小结
第6章 计算机视觉与图像生成
6.1 计算机视觉任务
6.1.1 图像分类
6.1.2 对象检测
6.1.3 图像分割
6.1.4 深度估计
6.2 图像生成与扩散模型
6.2.1 基于扩散模型生成图像
6.2.2 去噪扩散模型
6.2.3 自编码器模型
6.2.4 U-Net噪声估算
6.3 潜在扩散模型
6.3.1 变分自编码器
6.3.2 潜空间与交叉注意力
6.3.3 生成式对抗网络
6.5 本章小结
第7章 大模型增强与集成
7.1 检索增强生成
7.1.1 从关键字检索到向量检索
7.1.2 实现DPR
7.1.3 向量存储
7.1.3 增强生成
7.2 逻辑推理引擎
7.2.1 思维链提示
7.2.2 程序辅助语言模型
7.3.3 推理动作模型
7.3 使用LangChain实现RAG
7.3.1 链与Runnable接口
7.3.2 文档加载与向量存储
7.3.3 构建RAG链151
7.4 代理与LangGraph
7.4.1 工具定义
7.4.2 工具绑定与调用
7.4.3 使用LangChain代理
7.4.4 使用LangGraph图
7.5 本章小结
第8章 大模型部署与优化
8.1 重新认识GPU
8.1.1 从GPU到GPGPU
8.1.2 算力指标FLOPS
8.1.3 显卡指标
8.1.3 算力集群概览
8.2 需求估算与扩展法则
8.2.1 推理算力估算
8.2.2 训练算力估算
8.2.3 显存估算
8.2.4 扩展定律与Chinchilla法则
8.3 大模型优化技术
8.3.1 知识蒸馏
8.3.2 参数剪枝
8.3.3 量化
8.4 本章小结
第9章 大模型评估与测试
9.1 机器学习评价指标
9.1.1 Precision和Recall
9.1.2 F1和MCC
9.1.3 MSE和MAE
9.1.4 Pearson和Spearman
9.1.5 BLEU和ROUGE
9.2 大模型基准测试
9.2.1 测试任务与数据集
9.2.2 GLUE概览
9.2.3 GLUE测试任务
9.2.4 SuperGLUE概览
9.2.5 MMLU与GAIA
9.3 大模型测试框架
9.3.1 lm-evaluation-harness
9.3.2 HELM
9.4 本章小结
第10章 大模型预训练与微调
10.1 基于transformers库训练模型
10.1.1 数据预处理
10.1.2 设置超参数
10.1.3 训练模型
10.2 大模型分布式训练
10.2.1 数据并行
10.2.2 模型并行
10.3 大模型微调
10.3.1 低秩自适应微调
10.3.2 软提示微调
10.3.3 使用PEFT库
10.4 大模型的人类对齐
10.4.1 强化学习简介
10.4.2 奖励模型
10.4.3 近端策略优化
10.4.4 DPO和GRPO
10.5 本章小