探索计算图和监督学习范式。掌握PyTorch优化张量库的基础。概述传统的NLP概念和方法。学习构建神经网络的基本思想。检查前馈神经网络，例如多层感知器。使用嵌入方式来表示单词、句子、文档等。了解如何使用递归神经网络对序列数据建模。探索序列预测并生成sequence-to-sequence模型。学习用于构建NLP系统的设计模式。
目录
前言 1
第1 章 概述 7
监督学习范式 9
随机梯度下降法 11
样本和目标编码 12
独热表示（one-hot） 12
词频表示（TF） 14
TF-IDF 表示 15
目标编码 16
计算图 17
PyTorch 基础 19
动态与静态计算图 19
安装PyTorch 20
创建张量 21
张量的类型和大小 23
张量操作 25
索引、切片、连接 27
张量和计算图 31
CUDA 张量 32
练习题 34
答案 35
小结 36
参考文献 36
第2 章 自然语言处理 37
语料库、词和类型 38
特征工程 40
一元，二元，三元,…，n 元模型 41
词形还原和词干提取 41
文档分类 42
单词分类: 词性标注 42
广度分类: 分块和命名实体识别 43
句子结构 44
词义与语义 45
小结 46
参考文献 47
第3 章 神经网络基础 49
感知器: 最简单的神经网络 49
激活函数 51
sigmoid 52
Tanh 53
ReLU 53
Softmax 54
损失函数 55
均方误差损失 56
分类交叉熵损失 56
交叉熵损失 58
深入监督训练 59
构造样例数据 59
综合起来: 基于梯度的监督学习 62
辅助训练的概念 63
正确度量模型性能：评估指标 64
正确度量模型性能：分割数据集 64
知道何时停止训练 65
找到合适的超参数 65
规范化 66
案例: 餐馆评论分类 67
Yelp 评论数据集 68
理解PyTorch 的数据集表示 70
词汇表(Vocabulary)、矢量化器(Vectorizer) 和数据转换器(DataLoader) 73
一种感知器分类器 79
训练程序 80
评估、推断和检查 86
测试数据评估 87
小结 90
参考文献 91
第4 章 用于自然语言处理的前馈网络 93
多层感知器 94
一个简单的例子: 二分类 96
在PyTorch 中实现MLP 98
示例：用MLP 进行姓氏分类 102
姓氏数据集 103
Vocabulary、Vectorizer 和DataLoader 104
姓氏分类器模型 106
训练程序 108
模型评估及预测 110
正则化MLP: 权重正则化和结构正则化( 或Dropout) 112
卷积神经网络 114
CNN 超参数 115
在PyTorch 中实现CNN 120
示例：使用CNN 对姓氏进行分类 123
姓氏数据集类 124
词汇表、矢量化程序和数据转换器 125
用卷积网络重新实现姓氏分类器 126
培训程序 128
模型评估及预测 129
CNN 中的杂项主题 130
池化 130
批规范化(BatchNorm) 131
网络中的网络连接(1x1 卷积) 131
残差连接/ 残差块 132
小结 133
参考文献 134
第5 章 嵌入单词和类型 135
为什么学习嵌入? 136
嵌入的效率 137
学习单词嵌入的方法 138
预置字的实际使用 138
示例：连续词袋模型的嵌入 145
Frankenstein 数据集 146
Vocabulary、Vectorizer 和DataLoader 148
CBOWClassifier 模型 149
训练程序 150
模型评估及预测 151
示例：使用预先训练的嵌入进行文档分类 151
新闻数据集 152
Vocabulary、Vectorizer 和DataLoader 153
NewsClassifier 模型 156
训练程序 159
模型评估及预测 160
小结 161
参考文献 162
第6 章 自然语言处理的序列建模 165
递归神经网络简介 166
实现Elman RNN 169
示例：使用字符RNN 对姓氏国籍进行分类 171
SurnameDataset 类 171
矢量化数据结构 173
姓氏分类器模型 174
训练程序和结果 177
小结 178
参考文献 178
第7 章 自然语言处理的中级序列建模 179
普通RNN（或Elman RNN）的问题 180
用门控方法解决普通RNN 存在的问题 181
示例：用于生成姓氏的字符RNN 183
SurnameDataset 类 183
矢量化数据结构 185
从ElmanRNN 到GRU 187
模型1：无条件的姓氏生成模型 187
模型2：条件姓氏生成模型 189
训练程序和结果 190
训练序列模型的技巧和窍门 196
参考文献 198
第8 章 自然语言处理的高级序列建模 199
序列到序列模型，编码器- 解码器模型和条件生成 199
从序列中捕获更多信息：双向递归模型 203
从序列中捕获更多信息：注意力 205
深度神经网络中的注意力 207
评估序列生成模型 209
示例：神经机器翻译 211
机器翻译数据集 212
NMT 的矢量化管道 213
NMT 模型中的编码和解码 218
训练程序和结果 229
小结 231
参考文献 232
第9 章 经典，前沿与下一步发展 235
到目前为止，我们学到了什么？ 235
NLP 中的永恒主题 236
对话与交互系统 236
话语 237
信息提取与文本挖掘 239
文件分析与检索 239
NLP 前沿 239
生产NLP 系统的设计模式 241
接下来呢？ 246
参考文献 247
作者介绍 249
封面介绍 249
“这是一本应用PyTorch探索NLP和深度学习很棒的书。本书作者做了十分卓越的工作，不仅清晰地解释了NLP概念，而且在每一章的代码中进行了演示，从而让我们使用PyTorch来解决实际的NLP任务。”
——Liling Tan
一位来自Rakuten的科学家