本书旨在给出深度学习的理论基础和核心算法的主要内容，从而有利于读者和研究者系统地掌握理论结构和脉络。本书首先介绍了深度学习的相关数学基础，主要包括线性代数、概率论、信息论三部分随后系统地介绍了深度学习的重点内容，主要分为五方面：深度学习的通近理论、深度学习的表征理论、深度学习的学习理论、深度学习的优化理论、深度学习的核心算法。 本书可作为高等院校智能科学与技术、人工智能、计算机科学、电子科学与技术、控制科学与工程等专业本科生和研究生的教材，还可供对人工智能技术及其应用感兴趣的工程技术人员参考。

第1章 数学基础
1.1 线性代数
1.1.1 向量及其运算
1.1.2 矩阵及其运算
1.1.3 矩阵分解
1.2 概率论
1.2.1 概率与随机变量
1.2.2 期望、方差和协方差
1.2.3 常见的概率分布
1.2.4 共轭分布
1.3 信息论
1.3.1 熵的定义
1.3.2 互信息
1.3.3 交叉熵
1.3.4 Kullback-Leibler散度
参考文献
第2章 深度神经网络的逼近基础理论
2.1 函数的最佳平方逼近
2.1.1 正交多项式的定义与性质
2.1.2 常用的正交多项式
2.1.3 构造正交多项式的一般方法
2.1.4 最佳平方逼近的概念及计算
2.1.5 用正交多项式做最佳平方逼近
2.2 曲线拟合的最小二乘法
2.2.1 最小二乘法
2.2.2 用多项式作最小二乘曲线拟合
2.3 三角多项式逼近与快速傅里叶变换
2.3.1 最佳平方三角逼近与三角插值
2.3.2 快速傅里叶变换
2.4 多项式的万能逼近性质
2.5 从函数逼近的角度解释神经网络
2.6 本章小结
参考文献
第3章 深度神经网络的函数逼近
3.1 基本的ReLU网络定义
3.2 乘法、多项式、光滑函数的逼近
3.2.1 乘法函数的逼近
3.2.2 多项式函数的逼近
3.2.3 光滑函数的逼近
3.3 正余弦函数的逼近
3.3.1 余弦函数的逼近
3.3.2 正弦函数的逼近
3.4 神经网络的万能逼近性质和深度的必要性
3.5 本章小结
附录
参考文献
第4章 深度神经网络的复杂函数逼近
4.1 神经网络的逼近
4.1.1 Kolmogorov-Donoho数据率失真理论
4.1.2 字典逼近
4.1.3 神经网络的表示
4.1.4 神经网络最佳M项逼近表示
4.1.5 字典逼近转换为神经网络逼近
4.2 仿射系统的神经网络逼近
4.2.1 仿射系统的定义
4.2.2 仿射系统对神经网络逼近的影响
4.2.3 神经网络对仿射系统逼近证明
4.3 振荡纹理
4.3.1 振荡纹理的定义
4.3.2 振荡纹理的多项式逼近
4.3.3 振荡纹理的指数级逼近
4.4 Weierstrass函数
4.4.1 weierstrass函数的定义
4.4.2 weierstrass函数的指数级逼近
4.5 本章小结
参考文献
第5章 深度神经网络与多尺度几何逼近系统
5.1 小波分析与多尺度几何分析
5.1.1 由傅里叶到小波分析理论
……
第6章 深度特征网络的构造理论
第7章 学习表征编码器的构造理论
第8章 多尺度几何深度网络理论
第9章 复数深度学习网络
第10章 拟合问题
第11章 正则化理论
第12章 泛化理论
第13章 学习可解释性
第14章 收敛性理论
第15章 学习模型的复杂度
第16章 一阶优化方法
第17章 高阶优化方法
第18章 启发式学习优化
第19章 进化深度学习
第20章 离散优化问题
第21章 非凸优化
第22章 非负矩阵深度学习分解
第23章 稀疏张量深度学习分解
第24章 线性方程组的深度学习求解
第25章 微分方程的深度学习求解
第26章 深度学习分类
第27章 深度学习聚类
第28章 深度学习回归