基础篇
　　本篇着重介绍机器学习及深度学习（deep learning，DL）的基本原理，深入浅出地介绍相关数学及机器学习基础。机器及深度学习本质上是统计学习方法，所以第1章介绍了概率论的基本知识；而深度学习涉及大量的矩阵运算，所以第2章介绍了线性代数的基本知识，包括求导，主成分分析及奇异值分解等；考虑到实际应用中样本的缺乏等问题，第3章介绍了马尔可夫链蒙特卡罗（Markov chain Monte Carlo，MCMC）随机模拟法，作为重要的基于采样的统计计算方法；而作为现代机器学习基础之一的变分优化法，可以在没有解析解情况下较好地获得优化解，这在第4章重点进行了介绍；第5章则是系统地介绍了现代机器学习的基本方法，包括监督及非监督方法、评价标准、学习流程等。这些基本的知识都为学习方法篇奠定相应的数学及机器学习基础。
　　第1章概率论
　　概率论是机器学习及深度学习（DL）的基础之一。本章介绍有关概率论的基本知识，包括概率的定义、数量特征、典型分布以及在机器学习中的应用特点等，同时配合基本介绍，也给出了一些有趣而又有助于增加理解的问题，加强读者对概率相关概念的理解。
　　1.1概率的本质
　　概率是测量一个随机事件发生的可能性的量化性指标，又称或然率，采用0～1之间的一个实数表示，值越大表示发生的可能性越高（李贤平，2010）。概率的本质是“在表面上是偶然性在起作用的地方，这种偶然性始终是受内部的隐藏着的规律支配的，而问题只是在于发现这些规律”（恩格斯，1972）。实验表明一个随机事件出现的频率常在某个固定的常数值附近摆动，称此为统计规律性。而此稳定性也表明了概率存在的客观性，可以采用一套方法对其进行量化。
　　样本空间与事件是概率*基本的概念。样本点表示试验中可能出现的结果，而所有样本点构成的全体构成了样本空间。例如，采用表示样本点，D表示样本空间，则有。而概率论中的事件则指样本点的某个集合，具备某种特征，将某事件的发生看作当且仅当它所包含的某个样本点出现。事件用X、B、C等大写英文字母表示，将事件W发生的概率记为P04）。如此，某个样本点属于某个事件S则称e^，否则记为贱S。单个点也可定义一个事件集合，而没有包括任意点的集合则称为空集。
　　在现今计算技术发展的时代，很少采用手工的方式（如采用投硬币方式）确定一个事件发生的概率，而采用计算机进行模拟，能更快及更准确地模拟一个事件发生的概率。根据程序提供的均匀分布的抽样函数，很容易采用计算机模拟一个随机事件。下面给出了几个例子说明此点。
　　例1.1已知一个区间的均匀分布函数以及一枚硬币出现正面的概率为仍，如何采用随机模拟函数模拟投掷硬币的过程？
　　本例可以先采用均匀分布的函数抽样，如果发现抽样值小于等于仍，则返回1，否则返回0。反复执行该函数得到*终的统计结果，*后验证出现正面的概率是否接近于P1。
　　例1.2已知一维数组包含若干*大值，顺序性地遍历该数组，如何等概率返回数组中若干*大值中的一个，并使得时间复杂度为（N为数组元素个数）？如一维数组，等概率随机返回其中4个*大值中的一个。
　　先记录下当前的*大值及其索引，同时记录*大值的个数，在依次遍历数组过程中，遇到比当前更大的数时，更新*大值及其索引，修改*大记录数Cmax为1；如果遇到同*大值一样大的数，则递增*大值个数为Cmax+1，并在区间均匀随机抽样P;如果P在1/Cmax，则更新*大值索引为当前数的位置，否则保持索引不变。这样保证返回的*大值索引在数组里是等概率分布的。该方法可以采用数学归纳法证明。
　　证明（1）初始条件i=1，即只有一个*大值，结论显然成立。
　　（2）若i=k时结论成立，则可以推导出当i=k+1，即有k+1个*大值时结论也成立。根据随机均匀抽样p^1/（k+1），选择*后一个*大值索引的概率为+，则选择前面k个的概率为1，又根据i=k时假设结论成立，即前k个中一个被选中的概率为1，所以此时后面k个中有一个被选中的概率为。证毕。
　　以下讲述概率论的几个概念。
　定义1.1概率质量函数（probability mass function，PMF）是离散随机变量在各特定取值上的概率，数学定义如下：
　　（1.1）
　　其中，x是离散随机变量，S为随机样本空间中的某个事件（随机样本点集合）。
　定义1.2概率密度函数（probabilitydensity function，PDF）是连续型变量的概率表达方法，它表示在某个取值点附近的可能性函数，将连续型随机变量X的概率密度函数记为，则随机变量X在某个区域内的概率为该概率密度函数在该区域内的积分。
　　注意两个概率的差别，概率质量函数主要是描述离散随机变量在特定值的概率，而概率密度函数则是描述连续随机变量在特定取值附近的输出，本身不是概率，其概率应该是针对一定区间的积分。
　　定义1.3累积分布函数（cumulative distribution function，CDF）是概率质量函数小于每个值的累加和，或密度函数小于某个值的积分。
　　（1）对于离散变量：
　　（1.2）
　　其中，f（x）为概率质量函数。
　　（2）对于连续变量：
　　（1.3）
　　其中，f（x）为概率密度函数。
　定义1.4边缘概率分布（marginal probability distribution，MPD）是对多个随机变量的联合概率分布而言的，即通过对离散随机变量的概率累积求和或对连续随机变量求积分的方法求得在子随机变量上的分布，如对多个离散随机变量x与^，其x的边缘概率通过下式求和：
　　（1.4）
　　而对连续随机变量而言，采用下式积分求边际概率：
　　（1.5）
　定义1.5条件概率（conditional probability）是指在样本空间中一个随机事件A在另外一个随机事件B发生下的概率。若以随机变量X与Y分别表示事件A与B则可用公式表示为
　　（1.6）
　　条件概率与联合概率及边缘概率紧密联系，是*主要的关系之一。在贝叶斯（Bayes）机器学习中遇到的后验概率也是以条件概率的基本原理作为基础的。
　　利用条件概率可以解决许多概率推导问题，以下给出几个例子。
　　例1.3采用随机数抽样函数实现洗牌过程，保证事件复杂度为O（N）设数组A共有N个元素，依次为，从*后一个元素向前迭代，首先从随机变量（i表示当前迭代的数组索引）中抽取一个元素k，然后将数组元素ak与交换位置。该方法具有很好的空间复杂度（0（1））及事件复杂度（O⑷）。证明每个元素被抽取的概率为1，可采用类似例1.2中的数学归纳法及条件概率原理进行推导。
　　定义1.6概率的链式法则（chain rule）是指概率的多个随机变量的联合概率分布可以分解为多个单随机变量的条件概率的乘积：
　　（1.7）
　　采用条件概率公式及数学归纳法即可证明该链式法则。
　　定义1.7（独立性及条件独立性（independence and conditionally independence））独立性一般指两个随机变量之间没有依赖性，数学上表示为两个随机变量的联合概率分布直接等于各自分布函数的乘积：
　　（1.8）
　　而条件独立性则是指该独立性以另外的随机事件为条件，即
　　（1.9）
　　例1.4令样本空间D为投一个6面骰子时出现正面数字样本的集合，每一面出现的概率分别定义为，试采用计算机程序模拟投掷的随机事件，*优的时间复杂度是多少？
　　可以类似例1.1采用随机事件模拟与累计概率分布结合的方法求解本题。而采用二分搜索时可以将时间复杂度控制到（n为骰子的面数）。
　　1.2典型概率分布
　　1.2.1伯努利分布
　　参照例1.1的投掷硬币，设定出现正面的概率为参数 得到出现正面的概率为，则式（1.10）表示的分布称为伯努利分布（Bernoulli distribution）。
　　（1.10）
　　其中，代表投掷硬币的结果，x=1为正面，而x=0为反面。容易证明，伯努利分布的均值及方差分别为及。
　　问题1.1如何证明伯努利分布的均值及方差分别为式（1.11）与式（1.12）？
　　假定做了N次独立实验，得到数据集，则可以得到似然函数：
　　（1.11）
　　i=1i=1
　　（1.12）
　　通过微分求极值的方法，可求得*大似然解：
　　其中，m为出现正面的次数。

目录
前言
基础篇
第1章　概率论　3
1.1　概率的本质　3
1.2　典型概率分布　6
1.2.1　伯努利分布　6
1.2.2　二项分布　7
1.2.3　贝塔分布　7
1.2.4　多项分布　8
1.2.5　狄利克雷分布　9
1.2.6　高斯分布　10
1.2.7　学生t分布　13
1.2.8　指数及拉普拉斯分布　14
1.3　随机变量的数字特征及信息测度　15
1.4　指数族分布函数　17
1.5　混合分布　18
1.6　小结　19
参考文献　20
第2章　线性代数　21
2.1　基本数据类型　21
2.2　基本运算　22
2.3　求导运算　24
2.4　特征值提取及主成分分析　27
2.5　奇异值分解　31
2.6　小结　33
参考文献　34
第3章　MCMC随涵拟　35
3.1　问题的提出　35
3.2　蒙特卡罗方法　36
3.2.1　方法基础　36
3.2.2　拒绝性抽样　37
3.2.3　重要性抽样　38
3.3　MCMC方法　39
3.4　M-H采样　40
3.5　Gibbs采样　42
3.6　应用实例　44
3.6.1　模拟Beta分布的概率分布　44
3.6.2　采用Gibbs抽样模拟二维正态分布　45
3.6.3　模拟退火求极值问题　45
3.7　小结　46
参考文献　46
第4章　变分优化法　48
4.1　问题的提出　48
4.2　泛函　49
4.3　变分法　50
4.4　EM算法　53
4.5　*大熵变分方法　55
4.6　求后验分布的变分推断　57
4.7　小结　60
参考文献　61
第5章　懸学习基础　62
5.1　学习目标　62
5.2　评价标准　64
5.2.1　基于概率的评价标准　64
5.2.2　基于损失函数的评价标准　65
5.2.3　基于信息论的评价标准　67
5.3　监督学习方法　68
5.3.1　单学习器　68
5.3.2　集成学习器　72
5.4　非监督学习方法　83
5.4.1　主成分分析　84
5.4.2　高斯混合模型　84
5.5　偏差与方差：提高模型泛化能力　87
5.5.1　偏差与方差　87
5.5.2　正则化　88
5.5.3　贝叶斯统计学方法　90
5.5.4　MAP点估计　90
5.6　机器学习流程　91
5.7　向深度学习器的演化　92
5.8　小结　93
参考文献　93
方法篇
第6章　前馈神经网络　97
6.1　主要构成要素　97
6.1.1　目标函数　97
6.1.2　输入及隐藏层　98
6.1.3　输出层　102
6.2　深层系统架构　107
6.3　反向传播算法原理　108
6.3.1　全微分　108
6.3.2　复合函数求导　110
6.3.3　反向传播算法　111
6.4　自动微分　113
6.4.1　不同的微分方法　114
6.4.2　后向梯度计算模式　115
6.4.3　前向及后向传播过程　117
6.4.4　高效的计算图及其实现算法　119
6.5　小结　125
参考文献　125
第7章　模型训练及优化　127
7.1　参数正则化　127
7.2　限制性优化　134
7.3　数据增强　139
7.4　迁移学习　140
7.5　多任务学习及参数共享　141
7.6　集成学习方法　144
7.7　Dropout方法　145
7.8　Early Stopping方法　147
7.9　mini batch梯度下降法　149
7.10　批正则化　152
7.11　优化算法主要挑战　155
7.12　参数初始化　157
7.13　基本梯度学习方法　159
7.14　适应性梯度学习方法　162
7.15　高阶优化　167
7.16　算法优化策略　168
7.17　小结　170
参考文献　172
第8章　卷积神经网络　174
8.1　神经生物学基础　174
8.2　感受野　175
8.3　卷积运算　175
8.3.1　离散卷积　175
8.3.2　卷积神经网络中的卷积运算　176
8.3.3　填充　177
8.4　CNN基本结构　178
8.4.1　卷积层　178
8.4.2　池化层（下采样层）　180
8.4.3　全连接层　181
8.4.4　激活函数　181
8.4.5　损失函数与优化方法　181
8.5　卷积神经网络发展历史　182
8.5.1　LeNet-5模型　183
8.5.2　AlexNet模型　184
8.5.3　VGGNet模型　186
8.5.4　GoogleLeNet模型　187
8.5.5　ResNet模型　187
8.6　卷积神经网络在遥感地学方面的应用　189
8.7　小结　190
参考文献　190
第9章　循环神经网络　194
9.1　循环神经网络的网络结构及原理　194
9.1.1　单向循环神经网络　195
9.1.2　时序反向传播算法　196
9.1.3双向循环神经网络　198
9.2　长短期记忆网络及其变体　199
9.2.1　长短期记忆网络　200
9.2.2　门控循环单元　201
9.2.3　RNN其他变体　202
9.3　混合神经网络　203
9.4　循环神经网络的应用　204
9.4.1　自然语言处理　204
9.4.2　地球科学　205
9.4.3　其他　206
9.5　小结　206
参考文献　207
第10章　其他网络建模方法　211
10.1　反卷积神经网络　211
10.2　自动编码器　212
10.3　t-SNE方法　213
10.4　变分自动编码器　214
10.5　生成对抗网络　218
10.6　深度信任网络　220
10.7　注意力机制　223
10.8　图网络　227
10.9　自然语言处理的网络模型　232
10.9.1　基本语言模型　232
10.9.2　tf-ldf重要性提取　233
10.9.3　word2vec方法　234
10.9.4神经概率语言模型　236
10.9.5　基于Hierarchical Softmax的模型　238
10.9.6　CBOM模型　239
10.9.7　sklp-gram模型　241
10.10　小结　242
参考文献　243
遥感地学分析篇
第11章　遥感地学分析概述　247
11.1　背景介绍　247
11.2　遥感地学智能分析的系统框架　250
参考文献　254
第12章　遥感图像土地利用分类　256
12.1　遥感图像土地利用分类方法综述　256
12.1.1　遥感图像土地利用分类方法　256
12.1.2　基于深度学习的遥感图像语义分割　258
12.2　相关工作　259
12.2.1　残差学习　260
12.2.2　多尺度　261
12.2.3　基于深度学习的语义分割　262
12.3　多尺度深度残差自动编码　263
12.3.1　基于自动编码器的结构　263
12.3.2　两种残差连接　264
12.3.3　空洞卷积和多尺度的融合　265
12.3.4　训练集的采样和边界效应　266
12.3.5　衡量指标和损失函数　267
12.3.6　执行过程　268
12.4数据集与训练　269
12.4.1　数据集　270
12.4.2　训练及测试　271
12.5　土地利用分类结果及讨论　271
12.6　小结　278
参考文献　279
第13章　建筑物识别　286
13.1　遥感图像建筑物识别方法研究　286
13.2　基于形状表示和多尺度的深度残差分割方法　287
13.2.1　U-Net结构　287
13.2.2　残差学习　289
13.2.3　ASPP　289
13.2.4　形状表示自动编码器的正则化方法　290
13.2.5　损失函数，多尺度和边界效应　291
13.3　实验数据集和评估　292
13.3.1　研究区域　293
13.3.2　评估　293
13.4　建筑物识别结果　294
13.5　小结　301
参考文献　302
第14章　气象参数预测　306
14.1　应用综述　306
14.2　中国大陆风速时空数据　307
14.2.1　研究区域　308
14.2.2　测量数据　308
14.2.3　协变量　308
14.3　研究方法　309
14.3.1　阶段1：地理加权学习　310
14.3.2　阶段2：基于深度残差网络的降尺度　314
14.3.3　超参数优化与验证　315
14.4　风速预测结果　315
14.4.1　数据总结和预处理　315
14.4.2　阶段1的训练模型　316
14.4.3　阶段2的预测和降尺度　318
14.5　小结　322
参考文献　324
第15章　遥感气溶胶数据缺值处理　327
15.1　缺值数据插补方法概述　327
15.2　MAIAC AOD数据　328
15.2.1　案例研究区域　328
15.2.2　数据变量　329
15.3　降尺度与深度学习结合的插补方法　330
15.3.1　MAIAC AOD预处理　330
15.3.2　基于自动编码器的深度残差网络　331
15.3.3　基于深度残差网络的MERRA-2GMI重放模拟AOD降尺度　335
15.3.4　全模型和非全模型　336
15.3.5　超参数调整与验证　336
15.3.6　利用AERONET数据进行偏差校正　337
15.4　插补结果　338
15.4.1　卫星AOD和协变量概要　338
15.4.2　MERRA-2GMI重放模拟AOD降尺度　339
15.4.3　插补　343
15.4.4　用AERONET数据验证模型并校正偏差　344
15.5　小结　346
参考文献　348
第16章　地表参数反演　352
16.1　遥感反演模型概述　352
16.2　利用自动微分法转换卫星AOD与GAC　353
16.3　GAC模拟的材料和方法　354
16.3.1　案例研究区域　354
16.3.2　数据集　354
16.3.3　地面气溶胶消光系数的模拟　355
16.3.4　自动微分法求解　357
16.3.5　验证和比较　361
16.4　GAC模拟结果　361
16.4.1　描述性统计　361
16.4.2　学习和验证　362
16.4.3　方法比较　363
16.4.4　地面气溶胶系数模拟值和PMu预测值的空间分布　3