本书全面、系统、深入地介绍自然语言处理（NLP）的核心知识与实践方法，涵盖从传统模型到基于Transformer架构的大语言模型的完整知识体系。本书通过理论推导与Python代码实践相结合的方式，深入解析词嵌入、句法分析、序列建模等基础技术，并重点探讨Transformer架构、预训练范式、生成控制与RLHF对齐等大语言模型的关键技术。本书结合多个Python实践案例与伦理问题，帮助读者掌握“基础理论→算法实现→应用落地”的NLP任务构建全栈能力。 本书共12章，分为4篇。第1篇自然语言处理基础与词表示，介绍词袋模型、TF-IDF、Word2Vec和GloVe词嵌入等NLP基础，以及神经网络基础、朴素贝叶斯在情感分类中的作用、N-gram语言建模等；第2篇语言结构与句法解析，介绍上下文无关语法、成分解析与依存句法分析等；第3篇序列建模与深度学习方法，深入介绍循环神经网络、长短记忆网络、门控循环单元、序列到序列模型、注意力机制与Transformer架构等；第4篇大语言模型与生成技术，介绍自然语言生成的解码过程、常见问题及其解决方案、评估指标、评价方法、伦理问题，以及大语言模型预处理与基于人类反馈的强化学习等。 本书内容丰富，讲解深入浅出，理论兼具实践，适合想系统、深入学习自然语言处理和大语言模型的读者，也适合数据科学家、机器学习工程师和NLP研究员等大语言模型从业人员阅读，还可作为高等院校人工智能相关专业的教材或教学参考书，以及相关培训机构的教学用书。

第1篇 自然语言处理基础与词表示
第1章 自然语言处理基础与词嵌入
1.1 自然语言处理概述
1.2 词袋模型
1.2.1 词袋模型示例
1.2.2 用Python实现词袋模型
1.2.3 利用N-gram捕捉上下文关系与语义信息
1.2.4 词频-逆文档频率
1.2.5 词袋模型的局限性
1.3 词向量和词嵌入
1.4 词嵌入方法
1.4.1 词嵌入模型
1.4.2 连续词袋模型简介
1.4.3 跳跃词模型简介
1.4.4 GloVe模型简介
1.5 Word2Vec和GloVe比较
1.6 自然语言处理中的词向量评估方法
1.6.1 内在评估
1.6.2 外在评估
参考文献
第2章 神经网络基础
2.1 神经网络单元
2.1.1 神经元
2.1.2 神经元层
2.2 前馈计算
2.3 最大间隔目标函数
2.4 反向传播
2.4.1 以单个神经元的梯度更新为例
2.4.2 误差的回传
2.4.3 向量化
2.5 神经网络的算法实现
2.6 神经网络的激活函数
2.6.1 为何需要激活函数
2.6.2 激活函数的特征
2.6.3 常见激活函数
2.6.4 常见激活函数的Python实现
2.7 数据预处理
2.8 参数初始化
2.8.1 训练架构
2.8.2 权重初始值设置
2.9 学习率
2.10 梯度下降优化算法
2.10.1 梯度下降的变体
2.10.2 动量
2.10.3 Nesterov加速梯度
2.10.4 自适应梯度算法
2.10.5 Adadelta优化算法
2.10.6 RMSprop优化算法
2.10.7 Adaptive Moment Estimation（Adam）优化算法
2.11 神经网络的验证及调整方法
2.11.1 正则化
2.11.2 暂退法
参考文献
第3章 朴素贝叶斯在情感分类中的作用
3.1 文本分类的基本概念
3.2 朴素贝叶斯分类器
3.2.1 词袋模型的概念
3.2.2 文本分类中的朴素贝叶斯分类器
3.2.3 朴素贝叶斯分类器的训练
3.2.4 朴素贝叶斯分类器示例
3.2.5 朴素贝叶斯分类器在情感分析中的应用与优化
3.2.6 朴素贝叶斯分类器在其他领域的应用
3.2.7 文本分类任务的评估方法
3.2.8 多类别分类评估方法
3.2.9 交叉验证
3.2.10 统计显著性检验
3.2.11 配对Bootstrap检验
参考文献
……
第2篇 语言结构与句法解析
第3篇 序列建模与深度学习方法
第4篇 大语言模型与生成技术