译者序
前言
致谢
作者简介
第1章 神经网络概论
1.1 简介
1.2 神经网络的基本架构
1.2.1 单层计算网络：感知机
1.2.2 多层神经网络
1.2.3 多层网络即计算图
1.3 利用反向传播训练神经网络
1.4 神经网络训练中的实际问题
1.4.1 过拟合问题
1.4.2 梯度消失与梯度爆炸问题
1.4.3 收敛问题
1.4.4 局部最优和伪最优
1.4.5 计算上的挑战
1.5 复合函数的能力之谜
1.5.1 非线性激活函数的重要性
1.5.2 利用深度以减少参数
1.5.3 非常规网络架构
1.6 常见网络架构
1.6.1 浅层模型模拟基础机器学习方法
1.6.2 径向基函数网络
1.6.3 受限玻尔兹曼机
1.6.4 循环神经网络
1.6.5 卷积神经网络
1.6.6 层次特征工程与预训练模型
1.7 高级主题
1.7.1 强化学习
1.7.2 分离数据存储和计算
1.7.3 生成对抗网络
1.8 两个基准
1.8.1 MNIST手写数字数据库
1.8.2 ImageNet数据库
1.9 总结
1.10 参考资料说明
1.10.1 视频讲座
1.10.2 软件资源
1.11 练习
第2章 基于浅层神经网络的机器学习
2.1 简介
2.2 二分类模型的神经架构
2.2.1 复习感知机
2.2.2 最小二乘回归
2.2.3 逻辑回归
2.2.4 支持向量机
2.3 多分类模型的神经架构
2.3.1 多分类感知机
2.3.2 Weston-Watkins支持向量机
2.3.3 多重逻辑回归（softmax分类器）
2.3.4 应用于多分类的分层softmax
2.4 反向传播可以用于特征选择和神经网络的可解释性
2.5 使用自编码器进行矩阵分解
2.5.1 自编码器的基本原则
2.5.2 非线性激活函数
2.5.3 深度自编码器
2.5.4 应用于离群点检测
2.5.5 当隐藏层比输入层维数高时
2.5.6 其他应用
2.5.7 推荐系统：行索引到行值的预测
2.5.8 讨论
2.6 word2vec：简单神经架构的应用
2.6.1 连续词袋的神经嵌入
2.6.2 skip-gram模型的神经嵌入
2.6.3 word2vec（SGNS）是逻辑矩阵分解
2.6.4 原始skip-gram模型是多项式矩阵分解
2.7 图嵌入的简单神经架构
2.7.1 处理任意数量的边
2.7.2 多项式模型
2.7.3 与DeepWalk和node2vec的联系
2.8 总结
2.9 参考资料说明
2.10 练习
第3章 深度神经网络的训练823.1简介
3.2 反向传播的详细讨论
3.2.1 计算图抽象中的反向传播
3.2.2 前来拯救的动态规划
3.2.3 使用激活后变量的反向传播
3.2.4 使用激活前变量的反向传播
3.2.5 不同激活函数的更新示例
3.2.6 以向量为中心的反向传播的解耦视图
3.2.7 多输出节点及隐藏节点下的损失函数
3.2.8 小批量随机梯度下降
3.2.9 用于解决共享权重的反向传播技巧
3.2.10 检查梯度计算的正确性
3.3 设置和初始化问题
3.3.1 调整超参数
3.3.2 特征预处理
3.3.3 初始化
3.4 梯度消失和梯度爆炸问题
3.4.1 对梯度比例影响的几何理解
3.4.2 部分解决：激活函数的选择
3.4.3 死亡神经元和“脑损伤”
3.5 梯度下降策略
3.5.1 学习率衰减
3.5.2 基于动量的学习
3.5.3 参数特异的学习率
3.5.4 悬崖和高阶不稳定性
3.5.5 梯度截断
3.5.6 二阶导数
3.5.7 Polyak平均
3.5.8 局部极小值和伪极小值
3.6 批归一化
3.7 加速与压缩的实用技巧
3.7.1 GPU加速
3.7.2 并行和分布式实现
3.7.3 模型压缩的算法技巧
3.8 总结
3.9 参考资料说明
3.10 练习
第4章 让深度学习器学会泛化
4.1 简介
4.2 偏差方差权衡
4.3 模型调优和评估中的泛化问题
4.3.1 用留出法和交叉验证法进行评估
4.3.2 大规模训练中的问题
4.3.3 如何检测需要收集更多的数据
4.4 基于惩罚的正则化
4.4.1 与注入噪声的联系
4.4.2 L1正则化
4.4.3 选择L1正则化还是L2正则化
4.4.4 对隐藏单元进行惩罚：学习稀疏表示
4.5 集成方法
4.5.1 装袋和下采样
4.5.2 参数模型选择和平均
4.5.3 随机连接删除
4.5.4 Dropout
4.5.5 数据扰动集成
4.6 早停
4.7 无监督预训练
4.7.1 无监督预训练的变体
4.7.2 如何进行监督预训练
4.8 继续学习与课程学习
4.8.1 继续学习
4.8.2 课程学习
4.9 共享参数
4.10 无监督应用中的正则化
4.10.1 基于值的惩罚：稀疏自编码器
4.10.2 噪声注入：去噪自编码器
4.10.3 基于梯度的惩罚：收缩自编码器
4.10.4 隐藏层概率结构：变分自编码器
4.11 总结
4.12 参考资料说明
4.13 练习
第5章 径向基函数网络
展开
