本书以自然语言处理中的语言模型为主线，全面介绍了语言模型的基础理论、大模型的研究进展及实践应用。本书内容涵盖词向量、统计语言模型、神经网络语言模型及预训练语言模型，并深入探讨了大模型的架构、训练、应用及评估。同时，本书还提供了大模型的本地开发与应用开发实例，将理论与实践相结合。此外，本书紧跟自然语言处理领域前沿趋势，注重理论与实践的结合，语言简洁易懂，适合不同层次的读者。附录部分还介绍了概率论、信息论、机器学习等基础知识，帮助读者深入理解技术原理。 本书适用于高等院校本科生、研究生及教学科研人员，也适用于计算语言学家、数据科学家、NLP开发人员等专业人士，以及具备Python编程基础的读者。

主编简介
序言
前言
主要符号表
第1章 绪论
1.1 自然语言处理概述
1.2 自然语言处理简史
1.3 自然语言处理传统研究内容
1.4 自然语言处理与大模型发展现状
1.5 本书内容安排
1.6 讨论
1.7 习题
第1部分 语言模型基础
第2章 词向量
2.1 概述
2.2 文本表示方法
2.3 Word2Vec模型
2.4 GloVe模型
2.5 ELMo模型
2.6 讨论
2.7 习题
第3章 统计语言模型
3.1 概述
3.2 N-gram模型
3.3 平滑技术
3.4 讨论
3.5 习题
第4章 神经语言模型
4.1 概述
4.2 神经概率语言模型
4.3 基于循环神经网络的语言模型
4.4 讨论
4.5 习题
第5章 预训练语言模型
5.1 概述
5.2 Seq2Seq模型
5.3 注意力机制
5.4 Transformer模型
5.5 重要的预训练语言模型
5.6 语言模型使用范式
5.7 讨论
5.8 习题
第2部分 大模型理论
第6章 大语言模型架构
6.1 概述
6.2 基于Transformer的模型架构
6.3 基于非Transformer的模型架构
6.4 大模型架构配置
6.5 讨论
6.6 习题
第7章 多模态大模型架构
7.1 概述
7.2 ViT模型
7.3 CLIP模型
7.4 BLIP模型
7.5 BLIP-2模型
7.6 讨论
7.7 习题
第8章 大模型预训练
8.1 概述
8.2 预训练数据工程
8.3 预训练方法
8.4 讨论
8.5 习题
第9章 大模型微调
9.1 概述
9.2 指令微调
9.3 对齐微调
9.4 微调算法
9.5 讨论
9.6 习题
第10章 提示工程
10.1 概述
10.2 提示工程基础
10.3 情景学习
10.4 思维链
10.5 提示工程安全
10.6 讨论
10.7 习题
第11章 涌现
11.1 概述
11.2 涌现现象
11.3 大模型中的涌现
11.4 缩放法则
11.5 大模型可解释性
11.6 讨论
11.7 习题
第12章 大模型评估
12.1 概述
12.2 评估方式
12.3 评估任务
12.4 评估指标
12.5 讨论
12.6 习题
第13章 探讨
13.1 概述
13.2 基于大模型的智能体和具身智能
13.3 大模型垂直领域应用
13.4 大模型的挑战与局限
13.5 大模型的社会影响
13.6 讨论
13.7 习题
第3部分 大模型实践
第14章 大模型本地开发
14.1 概述
14.2 Transformers编程基础
14.3 大模型微调
14.4 讨论
14.5 习题
第15章 基于大模型的应用开发
15.1 概述
15.2 基于OpenAI的应用开发
15.3 基于通义千问的应用开发
15.4 基于LangChain的应用开发
15.5 讨论
15.6 习题
附录
附录A 预备知识
附录B 缩略语表
附录C 术语表
附录D 相关学术会议与学术组织
参考文献