以ChatGPT为代表的生成式对话产品席卷全球，技术圈迎来AI 2.0时代，基于大模型的应用将迎来大爆发，形成新的AI应用生态。AI工程师也当仁不让地成了炙手可热的就业方向，一大批对大模型感兴趣的开发者希望能够及时转型，投身到新一轮的“工业革命”浪潮中。在此背景下，本书系统、全面地介绍大模型应用开发相关的背景、概念、开发流程和工具使用方法，既包括基座大模型的训练过程、GPU基础知识、大模型应用开发的总体流程、大模型应用的发展趋势，也包括大模型应用开发涉及的文档处理、向量数据库、参数微调、模型压缩、推理性能优化、模型部署、提示工程、编排与集成等技术。本书不拘泥于某个产品细节，而是从大模型应用的落地痛点、理论知识、框架选型等长期和深层次的角度展开，提供完整的知识体系。除此之外，本书通过典型的RAG应用案例，结合具体代码，详细介绍大模型应用开发方法，帮助读者对开发过程有更深刻的体会。 本书适合对大模型应用开发感兴趣的企业管理者、产品研发人员阅读，也适合高等院校的学生、研究机构的研究者参考。

第1章 AI 2.0时代到来
1.1 ChatGPT旋风
1.1.1 ChatGPT是什么
1.1.2 丰富的应用
1.1.3 有喜有忧
1.2 认识AI 2.0时代
1.2.1 何谓大模型
1.2.2 AI 1.0时代与AI 2.0时代特点分析
1.2.3 新“工业革命”来临
1.3 本章小结
第2章 基座大模型准备
2.1 大模型的历史与未来
2.1.1 发展史
2.1.2 未来趋势
2.2 基座大模型训练过程
2.2.1 预训练
2.2.2 人类反馈的强化学习
2.3 选择合适的基座大模型
2.3.1 主流基座大模型介绍
2.3.2 选型标准
2.4 本章小结
第3章 GPU相关知识
3.1 基础知识
3.1.1 显卡与GPU
3.1.2 GPU与CPU
3.2 GPU的优势
3.2.1 GPU与深度学习
3.2.2 CUDA编程
3.3 准备合适的GPU
3.3.1 选择合适的GPU（显卡）供应商
3.3.2 英伟达与AMD
3.3.3 英伟达GPU各项参数
3.3.4 选型建议
3.4 本章小结
第4章 应用开发概览
4.1 关键概念
4.1.1 提示
4.1.2 上下文学习
4.2 应用趋势
4.2.1 趋势变迁
4.2.2 产品形态
4.3 技术实现
4.3.1 对齐方法
4.3.2 优劣势比较
4.3.3 应用流程
4.4 本章小结
第5章 文档处理
5.1 分块
5.1.1 分块的作用
5.1.2 分块的策略
5.1.3 策略选择
5.2 词元化
5.2.1 概念和方法
5.2.2 Token采样策略
5.3 嵌入
5.4 本章小结
第6章 向量数据库
6.1 基本概念
6.2 相关算法
6.2.1 向量相似性算法
6.2.2 工程中常用的向量搜索折中算法
6.3 核心价值
6.4 定位
6.5 主流产品
6.6 本章小结
第7章 微调
7.1 背景与挑战
7.1.1 背景知识
7.1.2 技术挑战
7.2 参数高效微调技术
7.3 工具实践
7.3.1 开源工具包
7.3.2 模型微调服务
7.4 本章小结
第8章 推理优化概论
8.1 优化目标
8.2 理论基础
8.2.1 模型大小的指标
8.2.2 模型大小对推理性能的影响
8.2.3 大模型相关分析
8.3 常见优化技术
8.3.1 模型压缩
8.3.2 Offloading
8.3.3 多GPU并行化
8.3.4 高效的模型结构
8.3.5 FlashAttention
8.3.6 PagedAttention
8.3.7 连续批处理
8.4 本章小结
第9章 部署推理工具
9.1 推理架构概述
9.2 Web服务
9.2.1 Streamlit与Gradio
9.2.2 FastAPI与Flask
9.3 推理执行引擎
9.3.1 服务器端推理
9.3.2 端侧推理
9.4 推理服务
9.5 对话类系统
9.6 本章小结
第10章 提示工程
10.1 理论与技术
10.1.1 提示的价值
10.1.2 应用领域
10.1.3 提示工程技术
10.2 开发工具
10.2.1 OpenAI Playground
10.2.2 Dify
10.2.3 PromptPerfect
10.3 本章小结
第11章 编排与集成
11.1 相关理论
11.1.1 面临的问题
11.1.2 核心价值
11.1.3 功能构成
11.2 典型架构模式
11.2.1 RAG
11.2.2 Agent
11.3 常见编排框架
11.3.1 LangChain框架
11.3.2 Llamalndex框架
11.3.3 Semantic Kernel框架
11.4 本章小结
第12章 应用示例
12.1 整体架构
12.2 开发过程
12.2.1 环境准备
12.2.2 实现解析
12.2.3 打包部署
12.2.4 示例演示
12.3 本章小结
参考文献