本书深入浅出地介绍了现代大型人工智能（Artificial Intelligence，AI）模型技术，从对话机器人的发展历程和人工智能的理念出发，详细阐述了大模型私有化部署过程，深入剖析了Transformer架构，旨在帮助读者领悟大模型的核心原理和技术细节。 本书的讲解风格独树一帜，将深奥的技术术语转化为简洁明了的语言，案例叙述既严谨又充满趣味，让读者在轻松愉快的阅读体验中自然而然地吸收和理解AI知识。本书提供完整的代码示例，可帮助读者将抽象的理论知识转化为手头的实际技能。本书不仅理论知识丰富，实战案例更能帮助读者在专业领域内高效地应用AI技术。 无论是初学者还是有一定基础的工程师，都能通过本书掌握大模型的核心原理和操作技巧，获得私有化部署大模型的能力，精通Transformer架构，并能运用高效微调策略优化大模型，成为大模型领域的行家里手。

第1章 从零开始大模型之旅
1.1 对话机器人历史
1.1.1 人机同频交流
1.1.2 人机对话发展历史
1.2 人工智能
1.2.1 从感知到创造
1.2.2 通用人工智能
1.2.3 发展方向
1.2.4 本书焦点
1.3 本章小结
第2章 大模型私有化部署
2.1 CUDA环境准备
2.1.1 基础环境
2.1.2 大模型运行环境
2.1.3 安装显卡驱动
2.1.4 安装CUDA
2.1.5 安装cuDNN
2.2 深度学习环境准备
2.2.1 安装Anaconda环境
2.2.2 服务器环境下的环境启动
2.2.3 安装PyTorch
2.3 GLM-3和GLM
2.3.1 GLM-3介绍
2.3.2 GLM-4介绍
2.4 GLM-4私有化部署
2.4.1 创建虚拟环境
2.4.2 下载GLM-4项目文件
2.4.3 安装项目依赖包
2.4.4 下载模型权重
2.5 运行GLM-4的方式
2.5.1 基于命令行的交互式对话
2.5.2 基于Gradio库的Web端对话应用
2.5.3 OpenAI风格的API调用方法
2.5.4 模型量化部署
2.6 本章小结
第3章 大模型理论基础
3.1 自然语言领域中的数据
3.1.1 时间序列数据
3.1.2 分词
3.1.3 Token
3.1.4 Embedding
3.1.5 语义向量空间
3.2 语言模型历史演进
3.2.1 语言模型历史演进
3.2.2 统计语言模型
3.2.3 神经网络语言模型
3.3 注意力机制
3.3.1 RNN模型
3.3.2 Seq2Seq模型
3.3.3 Attention注意力机制
3.4 Transformer架构
3.4.1 整体架构
3.4.2 Self-Attention
3.4.3 Multi-Head Attention
3.4.4 Encoder
3.4.5 Decoder
3.4.6 实验效果
3.5 本章小结
第4章 大模型开发工具
4.1 Huggingface
4.1.1 Huggingface介绍
4.1.2 安装Transformers库
4.2 大模型开发工具
4.2.1 开发范式
4.2.2 Transformers库核心设计
4.3 Transformers库详解
4.3.1 NLP任务处理全流程
4.3.2 数据转换形式
4.3.3 Tokenizer
4.3.4 模型加载和解读
4.3.5 模型的输出
4.3.6 模型的保存
4.4 全量微调训练方法
4.4.1 Datasets库和Accelerate库
4.4.2 数据格式
4.4.3 数据预处理
4.4.4 模型训练的参数
4.4.5 模型训练
4.4.6 模型评估
4.5 本章小结
第5章 高效微调方法
5.1 主流的高效微调方法介绍
5.1.1 微调方法介绍
5.1.2 Prompt的提出背景
5.2 PEFT库快速入门
5.2.1 介绍
5.2.2 设计理念
5.2.3 使用
5.3 Prefix Tuning
5.3.1 背景
5.3.2 核心技术解读
5.3.3 实现步骤
5.3.4 实验结果
5.4 Prompt Tuning
5.4.1 背景
5.4.2 核心技术解读
5.4.3 实现步骤
5.4.4 实验结果
5.5 P-Tuning
5.5.1 背景
5.5.2 核心技术解读
5.5.3 实现步骤
5.5.4 实验结果
5.6 P-Tuning V2
5.6.1 背景
5.6.2 核心技术解读
5.6.3 实现步骤
5.6.4 实验结果
5.7 本章小结
第6章 LoRA微调GLM-4实战
6.1 LoRA
6.1.1 背景
6.1.2 核心技术解读
6.1.3 LoRA的特点
6.1.4 实现步骤
6.1.5 实验结果
6.2 AdaLoRA
6.2.1 LoRA的缺陷
6.2.2 核心技术解读
6.2.3 实现步骤
6.2.4 实验结果
6.3 QLoRA
6.3.1 背景
6.3.2 技术原理解析
6.4 量化技术
6.4.1 背景
6.4.2 量化技术分类
6.4.3 BitsAndBytes库
6.4.4 实现步骤
6.4.5 实验结果
6.5 本章小结
第7章 提示工程入门与实践
7.1 探索大模型潜力边界
7.1.1 潜力的来源
7.1.2 Prompt的六个建议
7.2 Prompt实践
7.2.1 四个经典推理问题
7.2.2 大模型原始表现
7.3 提示工程
7.3.1 提示工程的概念
7.3.2 Few-shot
7.3.3 通过思维链提示法提升模型推理能力
7.3.4 Zero-shot-CoT提示方法
7.3.5 Few-shot-CoT提示方法
7.4 Least-to-Most Prompting（LtM提示方法）
7.4.1 Least-to-Most Prompting基本概念
7.4.2 Zero-shot-LtM提示过程
7.4.3 效果验证
7.5 提示使用技巧
7.5.1 B.R.O.K.E提示框架
7.5.2 C.O.A.S.T提示框架
7.5.3 R.O.S.E.S提示框架
7.6 本章小结
第8章 大模型与中间件
8.1 AI Agent
8.1.1 从AGI到Agent
8.1.2 Agent概念
8.1.3 AI Agent应用领域
8.2 大模型对话模式
8.2.1 模型分类
8.2.2 多角色对话模式
8.3 多角色对话模式实战
8.3.1 messages参数结构及功能解释
8.3.2 messages参数中的角色划分
8.4 Function Calling功能
8.