遥感数据是空间大数据的一个子集。面向大数据处理，需要新思维指导实践。新思维之一：寻找多源数据不变特征的思维，基于不变特征减弱同地、同谱、同时不同传感器数据之间的不一致性，不同传感器数据可综合集成应用。《全球遥感数据自动化处理技术与系统架构》数据处理篇中多源数据的几何一致性处理、辐射一致性处理等都是这一思维指导下的关键技术。新思维之二：将信息提取转化为数据智能的思维，一方面构建覆盖问题空间的样本集，另一方面构建深度学习模型表达与样本的深度相似性。《全球遥感数据自动化处理技术与系统架构》分类与识别篇的遥感图像的场景分类、目标检测、地表覆盖分类、时间序列分类聚类的关键技术都是这一思维的具体体现。新思维之三：云计算和容器技术融合构建技术平台的思维，可以支撑遥感大数据的在线处理和分析。《全球遥感数据自动化处理技术与系统架构》的系统架构篇涉及的关键技术包括全球多源遥感数据的集成和组织技术、信息产品生产流程建模与算法集成优化技术、容器化全球多源遥感数据信息产品生产系统关键设计技术都是这一思想的具体体现。

**篇数据处理
　　第1章遥感大数据处理的新思维
　　遥感数据是一类空间大数据，以遥感数据为中心的遥感应用研究是数据密集型的。遥感数据的井喷式增长激发了大量的研究问题。本书针对其中的三类问题:不同传感器数据之间保有一致性的问题、信息提取的问题、技术平台问题，结合大数据技术实践总结了其中蕴含的新思维，即在大数据中构建不变特征数据集的思维、将信息提取技术表达为数据智能技术的思维、云计算和容器技术融合应用的思维，旨在通过不确定数据中的确定部分降低数据的不一致性，通过问题空间数据的完备性提高信息提取的精度，通过数据、计算、服务一体化的云计算提升遥感大数据的应用水平。
　　1.1引言
　　1.1.1何谓“大数据”
　　“大数据”是这些年的热门词汇。每个人都听说了很多关于“大数据”的故事，从舍恩伯格等（2012）书中描写的Google搜索关键词与流感预测的故事到Amazon网站的书籍**系统再到百度推出的中国春节人口流动趋势图，从工业界到科技界，“大数据”以及“大数据技术”的故事引发了众多的思考和讨论。
　　何谓“大数据”？单从字面来看，它通常表示数据规模的庞大。但“大”与“小”是相对的概念。从其相对性出发，有多种不同的对“大数据”的理解和定义。
　　麦肯锡研究院在其报告Big data:The next frontier for innovation，competition，and productivity中给出的大数据定义是：大数据指的是其大小超出常规数据库工具获取、存储、管理和分析能力的数据集。它同时强调，并不是一定要超过TB级的数据集才是大数据。
　　维基百科对大数据的解读是：大数据，或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工在合理时间内截取、管理、处理并整理成为人类所能解读的信息。
　　百度百科对大数据的定义为：大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策的资讯。
　　研究机构Gartner认为，大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，大数据指无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。
　　总体而言，大数据这一概念的形成，有以下三个标志性事件：
　　（1）2008年9月，美国《自然》（Nature）杂志专刊The Next Google，**次正式提出大数据的概念。
　　（2）2011年2月1日，《科学》（Science）杂志专刊Dealing with Data，通过社会调查的方式，**次综合分析了大数据对人们生活造成的影响，详细描述了人类面临的“数据困境”。
　　（3）2011年5月，麦肯锡研究院发布报告Bigdata:The next frontier for innovation，competition，and prodMcrtvity，**次给大数据做出相对清晰的定义：大数据是指其大小超出常规数据库工具获取、储存、管理和分析能力的数据集。
　　既然大数据是相对于当前管理、处理、信息分析工具的能力而言的，则大数据技术发展的走向无非是两个：一方面是以新的理念发展新的工具；另一方面则是发展新的数据分析技术，能充分利用其“大”对数据进行深度挖掘、分析和应用，获得有价值的信息。
　　除了“大”的相对意义而言，大数据的“大”也有其绝对意义，从舍恩伯格的“4V”到IBM的”5V”，大数据的“大”一般指具有以下特点的数据：
　　（1）数据量大（volume），包括采集、存储和计算的量都非常大。大数据中的数据不再以几个GB或几个TB为单位来衡量，计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。
　　（2）种类和来源多样化（variety），包括结构化、半结构化和非结构化数据。多类型的数据对数据的处理能力提出了更高的要求。
　　（3）数据价值密度相对较低（value），或者说有用信息包含或隐藏在海量数据中，价值密度较低。如何结合应用需求并通过强大的机器算法来分析和挖掘数据价值，是大数据时代*需要解决的问题。
　　（4）数据增长速度快（velocity），这就要求处理速度快，时效性要求高。
　　（5）数据的真实性（veracity），数据是真实的、可信赖的、非假的数据。
　　我们说遥感卫星是一类空间大数据，主要是由于遥感卫星数据的每个值与地
　　球表面的空间位置相对应，并具有以下特点：
　　（1）数据体量大。据忧思科学家联盟（The Unionof Concerned Scientists，UCS）统计，到2021年底，全球一共有4852颗卫星在轨运行。其中，各类遥感卫星有799颗，光学成像卫星有413颗，占遥感卫星总量的51.7%。按一颗普通高空间分辨率卫星双通道下行速率900Mbps、每秒传输的数据量为900M计算，则全球每天的数据量已经达到EB级。这也蕴含了数据增长速度快的特点，其增长快，导致其数据量大。
　　（2）数据有“四多”特点：多传感器、多模态、多尺度、多时相。该特点涵盖了数据来源和种类的多样化。不同遥感卫星平台有不同的传感器，而且同样波段设置、同样空间分辨率的多光谱传感器因光谱响应有差异，数据表现上也会有区别；主、被动遥感在成像机理、成像模型和数据特征等方面存在巨大的差异；极轨卫星、静止卫星的不同轨道高度卫星的数据的空间分辨率、重访周期都会不同。这使得同一个区域具有多种传感器、多种模态、多种尺度、获取时间间隔不等的源源不断的数据。
　　（3）单个像元的低价值。遥感卫星数据的单个像元值拿出来仅代表那个像元所代表的地球表面与相应电磁波段相互作用的结果，通常很难从单个像元获取高价值信息。也就是说，虽然数据承载了关于地球表面的信息，但是并非所有的数据都承载了有意义的信息。遥感卫星数据通常可以在全球、区域或地方的尺度上进行分析和应用，使其在科学研究、生态环境、土地资源、自然灾害和重大工程的监测与评估等方面得到应用，发挥重要作用，并逐步深入大众生活产生巨大的经济价值和社会价值。
　　1.1.2数据密集型科学
　　在科技界，除“大数据”外，另一个科学家会提到的词是“数据密集型科学”，其被认为是科学研究的新范式（Toneyetal.，2012）。“范式”（paradigm）这一概念*初由美国著名科学哲学家Thomas Samuel Kuhn于1962年在《科学革命的结构》中提出来，指的是常规科学所赖以运作的理论基础和实践规范，是从事某一科学的科学家群体所共同遵从的世界观和行为方式。“范式”的基本理论和方法随着科学的发展发生变化。新范式的产生，一方面是由于科学研究范式本身的发展，另一方面则是由于外部环境的推动。科学研究第四范式的远景是吉姆 格雷于2007年描绘的（Toney et al.，2012），图1.1是吉姆 格雷与《第四范式》一书的封面。在大数据概念提出的当下，科技数据的大规模获取，尤其是高数据通量，给数据的采集、管理与分析带来巨大的挑战，要求科学研究必须以新的思路来进行。高通量数据，指产生数据的速率远大于可管理的能力。澳大利亚平方公里射电望远镜阵列项目、欧洲核子研究中心的大型强子对撞机，以及天文学的Pan-STARRS天体望远镜阵列每天都能够产生PB量级的数据，但当时只能按照可管理的能力限制其数据速率。基因测序因同样的原因只能提供小的数据输出。在计算机科学的并行计算领域中，这种数据I/O开销远大于数据计算所需开销的情况被称为数据密集型，与计算密集型相区分。
　　图1.1吉姆？格雷与《第四范式》一书的封面
　　图1.2是来自《第四范式》的科学范式图。吉姆？格雷总结出科学研究的范式共有四个：几千年前，主要是经验科学，主要用来描述自然现象；几百年前，是理论科学，使用模型概括自然规律，如开普勒定律、牛顿运动定律、麦克斯韦方程等；几十年前，是计算科学，主要通过计算模拟复杂现象；今天，是数据探索，统一于理论、实验和模拟。它的主要特征是：数据依靠信息设备收集或模拟产生，依靠软件处理，用计算机进行存储，使用专用的数据管理和统计软件进行分析。所谓新范式，指的是科学研究会采用以下方式进行：通过仪器收集数据或通过模拟方法产生数据，然后用软件进行处理，再将形成的信息和知识存储于计算机中，科学家们只是在这个工作流相当靠后的步骤中才开始审视他们的数据。这种方式不同于实验、理论研究、计算仿真这三类范式，因此把数据密集型科学作为一个新的科学探索的第四范式。
　　数据密集型科学由三个基本活动组成：采集数据、管理数据和分析数据。吉姆？格雷呼吁开发生产相关工具，支撑从数据采集、数据管理到数据分析和数据可视化的整个科研周期。

目录
“地球大数据科学论丛”序 i
前言 iii
**篇 数据处理
第1章 遥感大数据处理的新思维 3
1.1 引言 3
1.1.1 何谓“大数据” 3
1.1.2 数据密集型科学 5
1.1.3 数据密集型科学和大数据技术的区别和联系 7
1.2 数据密集型的遥感应用研究 9
1.3 大数据时代遥感数据处理的新思维 11
1.4 小结 19
参考文献 19
第2章 多尺度遥感数据的几何归一化处理 21
2.1 引言 21
2.2 为什么需要几何归一化处理 22
2.3 几何校正自动化实现的关键点 23
2.3.1 控制点提取的发展脉络 23
2.3.2 几何校正模型的选取和发展 34
2.4 误匹配点检测方法 35
2.4.1 研究现状概述 35
2.4.2 现有方法问题及改进方向 39
2.5 基于高精度基准影像的多尺度遥感影像归一化处理框架和应用 41
2.5.1 几何归一化处理总体框架 41
2.5.2 正射校正 42
2.5.3 分层匹配流程 42
2.5.4 几何约束SIFT 算法 44
2.5.5 基于点特征和灰度特征的遥感影像自动匹配方法 46
2.5.6 实际应用情况及效果 47
2.6 小结 55
参考文献 56
第3章 多源数据辐射一致性处理 59
3.1 引言 59
3.2 绝对辐射校正 60
3.2.1 辐射定标 61
3.2.2 大气校正 64
3.2.3 绝对辐射校正软件介绍 70
3.3 基于典型相关分析的辐射一致性处理 73
3.3.1 IR-MAD算法 74
3.3.2 IR-MAD算法数据实验 79
3.3.3 基于地物平均光谱的线性相对辐射校正 81
3.4 基于核典型相关分析的辐射一致性处理 84
3.5 小结 94
参考文献 94
第4章 薄雾去除 97
4.1 引言 97
4.2 基于滤波的薄雾去除算法 98
4.2.1 同态滤波法 98
4.2.2 小波变换法 99
4.2.3 大尺度中值滤波法 101
4.3 基于暗通道的薄雾去除算法 103
4.3.1 薄雾成像模型 103
4.3.2 暗通道先验 105
4.3.3 薄雾精细分布的快速估计 106
4.4 定量薄雾去除算法 109
4.4.1 辐射传输过程中的气溶胶光学厚度 109
4.4.2 区域直方图匹配法 112
4.5 几种薄雾去除算法比较 115
4.6 基于深度学习的薄雾去除 120
4.6.1 基于对抗学习的物理驱动去雾模型 121
4.6.2 深度学习训练样本库 124
4.6.3 算法优化 126
参考文献 130
第5章 云/云影检测与修补 132
5.1 云/云影检测的传统方法 132
5.1.1 算法 133
5.1.2 实验结果 140
5.2 云/云影检测的深度学习方法 143
5.2.1 Refined UNet：基于UNet和全连接条件随机场的云和阴影
边缘精准分割方法 146
5.2.2 Refined UNet V2：端到端的云和阴影降噪分割模型 150
5.2.3 Refined UNet v3：基于多通道光谱特征的端到端云和阴影快
速分割模型 153
5.2.4 实验及结果分析 156
5.3 云/云影修补算法 165
5.3.1 基于泊松融合的云与云下阴影自动修补算法 165
5.3.2 基于核典型相关分析的序列图像云检测与修补算法 174
5.4 小结 186
参考文献 187
第6章 光谱信息和高空间分辨率信息融合 192
6.1 引言 192
6.2 **融合模型 196
6.2.1 SSD模型 197
6.2.2 BDSD模型 198
6.2.3 MTF-GLP-HPM-PP模型 198
6.2.4 PanNet模型 198
6.3 PDSD 模型 198
6.3.1 模型原理 198
6.3.2 网络结构 200
6.4 数据融合结果比较与评价 201
6.4.1 实验数据集介绍 201
6.4.2 实验评价指标 202
6.4.3 实验流程 204
6.4.4 实验结果与分析 205
6.5 小结 214
参考文献 214
第7章 时相缺失图像的插值生成 218
7.1 引言 218
7.2 线性插值模型及问题 223
7.3 基于自适应滤波器的非线性图像插值方法 224
7.3.1 单向的时相间图像插值生成方法 225
7.3.2 双向的时相间图像插值生成方法 225
7.4 实验结果与分析 228
7.4.1 实现细节 228
7.4.2 结果评价 233
7.5 数据集的构建实践 235
7.5.1 区域数据的缺失状况 235
7.5.2 数据集的构建策略 235
7.5.3 生成结果的性能分析 237
7.5.4 生成结果的视觉展示 239
7.6 小结 241
参考文献 241
第二篇 分类与识别
第8章 遥感图像场景分类 245
8.1 引言 245
8.2 遥感图像场景分类发展现状 247
8.3 遥感图像场景分类的传统方法 250
8.3.1 基于**视觉词包模型的遥感图像场景分类方法 250
8.3.2 基于二维小波分解的多尺度视觉词包特征表达与场景分类方法 251
8.3.3 基于同心圆结构的旋转不变性视觉词包特征表达与场景分类方法 254
8.4 遥感图像场景分类的深度学习方法 258
8.4.1 SiftingGAN：自筛选生成对抗网络的场景分类方法 258
8.4.2 CNN-CapsNet：融合胶囊网络和卷积神经网络的场景分类
方法 264
8.5 小结 270
参考文献 270
第9章 遥感图像目标检测 275
9.1 引言 275
9.2 遥感图像目标检测的传统思路 276
9.2.1 候选区域提取 276
9.2.2 特征提取 277
9.2.3 分类器分类 278
9.2.4 后处理 278
9.3 遥感图像目标检测的深度学习方法 279
9.4 形状信息在遥感图像目标检测中的应用 280
9.4.1 偏向形状特征的目标检测样本扩增方法 280
9.4.2 引入形状先验约束的目标检测网络模型 284
9.4.3 融入分类后处理的遥感图像目标检测方法 286
9.5 多尺度小样本目标检测方法 288
9.6 小结 291
参考文献 291
第10章 样本处理视角下的遥感图像地表覆盖分类 296
10.1 引言 296
10.2 主动学习：训练样本的有效选择方法 297
10.3 半监督学习：未标记样本的使用方法 301
10.4 训练样本集中错误样本的渐进式剔除方法 305
10.5 由弱到强监督的训练样本提升方法 308
10.6 小结 311
参考文献 312
第11章 小样本下空谱关系网络的地表覆盖分类 315
11.1 高光谱图像分类概述 315
11.1.1 深度卷积神经网络在高光谱图像分类中的应用 318
11.1.2 高光谱图像分类模型迁移学习现状 320
11.1.3 高光谱图像分类方法存在的问题 321
11.2 相关工作简介 323
11.2.1 空间金字塔池化和自适应池化 323
11.2.2 关系网络 324
11.3 空谱关系网络 326
11.3.1 用于特征提取的三维嵌入模块 328
11.3.2 用于相似性度量的三维关系模块 330
11.4 自适应空谱关系网络的迁移学习 331
11.4.1 自适应空谱金字塔池化 332
11.4.2 ASSP-SSRN 预训练部分 333
11.4.3 ASSP-SSRN 微调部分 335
11.5 SS-RN 性能验证与分析 336
11.5.1 实验数据描述和实验设计 336
11.5.2 网络参数选择 340
11.5.3 训练时间分析 346
11.5.4 SS-RN 深度特征的可视化 347
11.5.5 SS-RN 与之前深度学习方法的对比 349
11.5.6 基于ASSP-SSRN 的迁移学习实验结果 354
11.6 小样本下空谱关系网络应用小结 358
参考文献 360
第12章 遥感影像时间序列聚类与分类 364
12.1 引言 364
12.2 遥感影像时间序列的构成 366
12.3 基于相似性度量的遥感影像时间序列聚类/分类 367
12.3.1 时间序列相似性度量方法的发展脉络 367
12.3.2 动态时间规整 368
12.3.3 动态时间规整的路径约束 372
12.3.4 动态时间规整的变种方法 374
12.3.5 动态时间规整的下界距离与提前终止 378
12.3.6 遥感影像时间序列种子聚类与分类框架 380
12.4 基于深度学习的遥感影像时间序列分类 383
12.4.1 时间序列分类网络的发展脉络 383
12.4.2 时序卷积网络 386
12.4.3 长短期记忆网络 386
12.4.4 时序自注意力网络 388
12.4.5 网络结构与遥感数据特征 393
12.5 小结 393
参考文献 394
第三篇 系统架构
第13章 全球多源遥感数据的集成和组织 401
13.1 引言 401
13.2 多源遥感数据格式统一抽象模型 402
13.2.1 几种常见遥感数据格式与格式库 402
13.2.2 遥感数据格式与库分析 402
13.2.3 统一格式抽象库设计与实现 406
13.3 结合数据尺度和产品类型的多源多尺度遥感数据协同剖分体系 408
13.3.1 数据剖分体系 409
13.3.2 多源遥感数据立方体协同生成流程 413
13.3.3 逻辑数据立方体协同生成 414
13.3.4 实体数据立方体协同生成 417
13.4 小结 419
参考文献 419
第14章 全球多源遥感数据信息产品生产流程建模与算法集成 421
14.1 引言 421
14.2 遥感产品生产架构 422
14.3 产品生产架构形式化表达与服务化集成 424
14.3.1 产品生产架构形式化表达 424
14.3.2 产品生产流程脚本生成 427
14.3.3 流程建模过程中不确定问题的处理策略 428
14.3.4 遥感产品算法服务化集成 430
14.4 遥感产品并行处理框架 432
14.4.1 遥感产品处理算法的运算特点 432
14.4.2 上层粗粒度任务并行处理 436
14.4.3 下层基于内存的图像加速处理 438
14.5 小结 440
参考文献 441
第15章 容器化全球多源遥感数据信息产品生产系统关键