神经网络与深度学习是人工智能研究的重要领域，是机器学习的重要组成部分。人工智能是研究理解和模拟人类智能、智能行为及其规律的科学。本书紧紧围绕神经网络和深度学习的基础知识体系进行系统的梳理，力求从基础理论、经典模型和前沿应用展开论述，便于读者能够较为全面地掌握深度学习的相关知识。 全书共16章。第1章是绪论，简要介绍人工智能、机器学习、神经网络与深度学习的基本概念及相互关系，并对神经网络的发展历程和产生机理进行阐述；第2章介绍神经网络的基本神经元模型、网络结构、学习方法、学习规则、正则化方法、模型评估方法等基础知识；第3～8章介绍多层感知器神经网络、自组织竞争神经网络、径向基函数神经网络、卷积神经网络、循环神经网络、注意力机制与反馈网络；第9章介绍深度学习网络优化的相关内容；第10～13章介绍受限玻尔兹曼机和深度置信网络、栈式自编码器、生成对抗网络和图神经网络；第14章介绍深度强化学习；第15章介绍深度学习的可解释性；第16章介绍多模态预训练模型。 深度学习是源于对含有多个隐藏层的神经网络结构进行的研究，以便建立和模拟人脑的学习过程。本书整理了人工神经网络从简单到复杂的模型，归纳和总结了神经网络的理论、方法和应用实践。本书可以作为高等院校人工智能及相关专业或非计算机专业的参考用书，也可以作为人工智能领域的科技工作者或科研机构工作人员的参考用书。

第1章 绪论
1.1 与深度学习有关的几个概念
1.1.1 人工智能
1.1.2 机器学习
1.1.3 表示学习
1.1.4 机器学习、神经网络及深度学习的关系
1.1.5 深度学习常用的框架
1.2 神经网络与深度学习的发展历程
1.2.1 神经网络的诞生
1.2.2 神经网络的复兴
1.2.3 深度学习的崛起
1.3 神经网络的产生机理
1.3.1 大脑研究的基本情况
1.3.2 脑组织的基本组成
1.3.3 脑组织的分层结构
1.3.4 大脑的基本工作原理
1.4 生物神经网络基础
1.4.1 神经元的基本结构
1.4.2 神经元的基本分类
1.4.3 神经元的信息传递机理
1.4.4 生物神经网络的构成
1.5 本书的知识框架体系
1.6 本章小结
第2章 人工神经网络计算
2.1 神经网络概述
2.2 人工神经元模型
2.2.1 基本神经元模型
2.2.2 常用激活函数
2.2.3 Softmax输出分类
2.3 神经网络结构
2.3.1 单层前馈网络
2.3.2 多层前馈网络
2.3.3 反馈网络
2.3.4 图网络
2.4 神经网络的学习方法
2.4.1 无监督学习的Hebb算法
2.4.2 监督学习的Delta规则
2.5 神经网络的损失函数
2.5.1 均方差损失函数
2.5.2 平均绝对误差损失函数
2.5.3 交叉熵损失函数
2.6 神经网络的学习规则
2.6.1 极大似然估计
2.6.2 经验风险最小化准则
2.6.3 过拟合与欠拟合
2.7 梯度下降法
2.7.1 一维梯度下降
2.7.2 多维梯度下降
2.7.3 随机梯度下降
2.8 网络正则化方法
2.8.1 L1和L2正则化
2.8.2 提前停止
2.8.3 权重衰减
2.8.4 丢弃法
2.8.5 数据增强
2.8.6 标签平滑
2.9 模型评估方法
2.9.1 混淆矩阵
2.9.2 准确率、精确率、召回率
2.9.3 ROC/AUC/PR曲线
2.10 本章小结
第3章 多层感知器神经网络
3.1 感知器及其发展过程
3.2 感知器学习算法
3.2.1 离散单输出感知器学习算法
3.2.2 离散多输出感知器学习算法
3.2.3 多层感知器线性处理问题
3.3 多层感知器的算法实现
3.4 反向传播算法
3.4.1 反向传播多层感知器模型
3.4.2 反向传播算法的原理
3.4.3 反向传播算法的执行步骤
3.4.4 梯度消失和梯度爆炸问题
3.4.5 反向传播网络的数据拟合问题
3.5 本章小结
第4章 自组织竞争神经网络
4.1 竞争学习的概念与原理
4.1.1 竞争学习规则
4.1.2 竞争学习原理
4.2 SOFM网络
4.2.1 SOFM网络结构
4.2.2 运行原理
4.2.3 学习过程
4.2.4 两阶段学习
4.3 ART网络
4.3.1 ART网络结构
4.3.2 网络运行与训练
4.3.3 网络运行的参数说明
4.4 自组织竞争神经网络的算法实现
4.5 本章小结
第5章 径向基函数神经网络
5.1 径向基函数介绍及结构
5.2 函数逼近与内插
5.2.1 插值问题的定义
5.2.2 径向基函数的一般形式
5.2.3 径向基函数的性质
5.3 正则化理论
5.4 径向基函数神经网络学习
5.4.1 随机选取径向基函数中心
5.4.2 自组织学习选取径向基函数中心
5.4.3 有监督学习选取径向基函数中心
5.5 本章小结
第6章 卷积神经网络
6.1 卷积神经网络的概念及特点
6.1.1 卷积的定义
6.1.2 卷积的变形
6.1.3 卷积与互相关操作
6.1.4 卷积神经网络的特点
6.2 卷积神经网络的基本结构
6.2.1 卷积层
6.2.2 汇聚层
6.2.3 全连接层
6.2.4 输出层
6.3 卷积神经网络参数学习
6.4 卷积神经网络常用模型
6.4.1 LeNet模型
6.4.2 AlexNet模型
6.4.3 VGGNet模型
6.4.4 GoogLeNet模型
6.4.5 ResNet模型
6.4.6 DenseNet模型
6.5 卷积神经网络的算法实现
6.6 本章小结
第7章 循环神经网络
7.1 循环神经网络的概念
7.2 循环神经网络模型
7.3 循环神经网络参数学习
7.3.1 BPTT算法
7.3.2 RTRL算法
7.4 网络梯度问题改进
7.5 长短期记忆
7.6 门控循环单元网络
7.7 深度循环神经网络
7.7.1 堆叠循环神经网络
7.7.2 双向循环神经网络
7.8 循环神经网络算法实现――手写体数字识别问题
7.9 本章小结
第8章 注意力机制与反馈网络
8.1 注意力机制网络
8.1.1 注意力机制网络的概念及分类
8.1.2 自注意力模型
8.2 离散型Hopfield神经网络
8.2.1 网络的结构与工作方式
8.2.2 网络的能量状态分析
8.2.3 网络吸引子的性质
8.3 连续型Hopfield神经网络
8.3.1 网络的拓扑结构
8.3.2 网络的能量与稳定性分析
8.4 Hopfield神经网络应用实例
8.5 Hopfield神经