卫星遥感、地基观测、模型模拟、社会感知等是获取地球表层科学数据的主要手段，不同来源的数据之间存在强烈的互补性。本书围绕多源数据的融合计算展开研究，以多源遥感数据的信息融合为主体内容，并扩展到与地基数据、模型模拟数据和社会感知数据的融合。内容体系上分为同质数据融合、异质数据融合、异类数据融合等几个层次：首先介绍同质光学遥感数据的空-谱融合、时-空融合及时-空-谱融合方法：其次介绍光学、雷达、短波红外、多参量产品等异质数据间的融合方法；然后介绍地基观测、遥感观测、模型模拟与社会感知等异类数据间的融合方法：最后提出广义地学数据时-空-谱一体化融合的理论框架与模型方法。 本书不仅适合作为遥感、地理、测绘等相关专业的高年级本科生、研究生的参考书，而且可供遥感信息处理、环境参量反演、陆面过程模拟、数据融合与同化等领域的科技工作者阅读参考。

第1章 绪论
　　1.1 地学数据类型
　　地球系统由岩石圈、水圈、生物圈（包括人类）、大气圈和外层空间组成，各子系统间相互联系、相互作用，共同影响全球环境的变化（廖顺宝?等，2005）。为了深刻理解地球复杂的自然与人文现象、促进社会经济的可持续发展，需要综合、完整和持续的地球观测系统（中国科学院地学部地球科学发展战略研究组，2009）。数据与信息是地球系统科学存在的基础和发展的关键，地球科学的理论研究必须以丰富的实测资料为基础。国际标准化组织（International Organization for Standardization，ISO）、美国国家航空航天局（National Aeronautics and Space Administration，NASA）等均制定了自己的数据分类系统；廖顺宝等（2005）参考已有分类系统原则，并结合现有地球系统科学数据资源的实际情况，将地球系统科学数据分为了岩石圈子系统、陆地表层子系统、海洋子系统、大气子系统、外层空间子系统几个大类。
　　本书的研究对象主要为陆地表层系统，它是与人类密切相关的环境、资源和社会经济在时空上的结构、演化、发展及其相互作用，强调自然过程与人文过程的有机结合，是地球表层*复杂、*重要、受人类活动影响*大的一个子系统，是地球科学发展的核心和前沿领域（郑度?等，2001）。在陆地表层数据获取方面，从观测角度，由早期肉眼“点”域的观察—航空飞机局域的遥感—航天飞机、卫星的全球广域观测，人类对地观测技术在跃进式地发展（廖小罕，2021；王心源?等，1999）；随着移动互联网等信息技术的快速发展，反映人类时空行为特征、揭示社会经济现象时空分布的海量社会感知数据也逐渐成为地学研究的重要数据来源。概括来说，陆地表层数据根据具体的获取方式，主要包括4种：地基观测数据、空天遥感数据、模型模拟数据、社会感知数据，如图1.1所示。
　　图1.1 陆地表层数据类型
　　地基观测主要指基于地面传感器的观测，包括站点监测、移动观测等多种形式，是监测资源环境状况*为直接、*为精确的手段。在生态环境监测系统方面，从传统的单站监测转向组网监测是*为主要的发展趋势，也取得了非常大的进展。国际开放地理信息联盟提出了传感网使能框架，构建了系列标准体系；美国哈佛大学开发了城市无线监测传感网CitySense系统（Murty et al.，2008），可实现对多个环境变量的实时综合感知；欧盟建设了涵盖传感网监测、信息分析模拟、服务发布的环境与安全监测计划（哥白尼计划）；我国各级生态环境相关部门也逐步建立了相应的监测系统，实现了对城市大气、水、土壤生态环境参数的业务化监测。这些系统已经形成了组网观测的雏形，并在资源环境规划与管理中发挥了重要作用。尽管地基观测数据具有精度高、时间连续的优势，但监测站点建设成本高昂、实施难度较大，空间分布相对较为稀疏，难以实现大范围空间连续监测。
　　空天遥感数据指利用安装在飞机、无人机等空中平台或人造卫星等航天平台上的传感器，通过感测地物目标电磁辐射特性所获取的数据。随着对地观测技术的发展，大量遥感卫星源源不断地发射，对地遥感已经进入“三多”（多平台、多传感器、多角度）、“三高”（高空间分辨率、高时间分辨率、高光谱分辨率）的发展阶段（李德仁，2003），小卫星、无人机组网、卫星组网等不断发展，为资源调查、环境监测、建设规划、军事侦察等应用提供了十分丰富的数据源（张良培?等，2016）。遥感数据能够提供时空大范围的观测数据，具有宏观、全面、快速、动态、准确的优势；但遥感成像复杂，传感器硬件限制导致难以获取兼具高时间分辨率、高空间分辨率和高光谱分辨率的数据，且其成像过程易受云雾覆盖等天气状况的影响，导致大范围的地表信息缺失。
　　模型模拟是另一种获取地表参量的手段，通过模型内在物理及生物化学过程和动力学机制，获得地理对象在时间和空间上的连续演进（李新?等，2007）。在表层系统模拟方面，各国科学家构建了多种大气数值模型（Skamarock et al.，2008）、陆面过程模型（孟春雷?等，2013）及水文模型（Arnold et al.，1998），并基于超级计算平台开发了地球系统模拟器（邱晨辉，2021）。尽管通过模型模拟可以得到时空连续的地表数据集，但是其精度却容易受到多种不确定性的影响。以陆面模型为例，地表不均质性、参数化问题、人类活动影响及气候系统对下垫面的敏感性等都增加了陆面过程刻画的复杂度，进而加大陆面过程模型自身的不确定性（Fisher et al.，2020；刘建国，2013）。并且，模型运行的初值条件、驱动数据的不确定性等问题使其更为复杂。此外，与遥感观测数据相比，模型模拟数据的空间分辨率一般较低。
　　“社会感知”通常指基于人类社会生产生活中大规模部署的多类别传感设备来获取具有时空标记的数据集，并借助地理空间分析方法等技术手段从中感知识别社会个体的行为，进而揭示社会经济要素的地理时空分布、变化及联系的理论和方法（Liu et al.，2015）。一般通过传感器直接感知、被动请求、主动感知来获取具有时空标记的数据集（刘瑜，2016）。针对此类数据，研究单*个体行为在时空维度上的变化意义不大，但是当个体数据增多使得研究样本足够充分代表群体的行为特征时，挖掘社会感知数据便可反映出与地理环境要素分布相关联的社会经济特征。因此，社会感知数据可以作为地基观测、空天遥感、模型模拟等手段的补充，增强对人类活动与社会信息的有效感知与解释能力。近年来，社会感知数据在人群活动监测、行为分析、土地利用分类、环境参数提取等领域得到了广泛应用。
　　1.2 不同数据之间的互补性
　　地基观测、空天遥感、模型模拟和社会感知4类数据的特点如表1.1所示。地基观测数据精度高、获取频次高，但站点空间分布稀疏，覆盖度非常低，难以实现面域连续监测，在区域研究中存在典型的以“点”代“面”问题。空天遥感观测系统可以克服地基观测的缺点，实现对地球表层的大尺度宏观面域感知，可以实现从分米级到千米级空间分辨率的数据获取；但遥感反演的精度一般要低于地基观测，通用的极轨卫星在时间分辨率上一般也较低，并且容易受云覆盖等因素影响。模型模拟可以进一步弥补观测系统的时空局限，通过其内在动力学机制获得时空连续的数据（李新?等，2007），具有较高的获取频次和空间覆盖；但模型模拟易受多种不确定性的影响，数据精度和空间分辨率往往较低。社会感知数据能够有效反映人类社会生产生活的静态与动态特征，可为目前基于探测、模型模拟手段为主获取的自然环境地理信息中补充社会属性，数据获取频次高；但一些参数难以通过直接测量的方式获得，并且数据分布非常不均匀，农村地区的数据密度远不如城市地区。可见，4类数据各有优势与不足，相互之间却存在强烈的互补性。
　　表1.1 4类数据的特点
　　对遥感数据而言，其应用潜力取决于传感器对地物在不同频谱范围反射或发射的电磁能量强度、空间差异和时间变化的探测能力，一般可以用所获取影像的空间分辨率、时间分辨率和光谱分辨率进行表征。分辨率是遥感观测的核心指标，每一个新的突破与发展都会开启地理应用的新机会（美国国家科学院国家研究理事会，2011）。然而，由于卫星轨道、载荷及其传感器性能的限制，空间分辨率、时间分辨率与光谱分辨率相互制约，在面对高异质性地表或其他应用目标时，总是在三者的某一方面存在不足。图1.2给出了高级甚高分辨率辐射计（advanced very high resolution radiometer，AVHRR）、中分辨率成像光谱仪（moderate-resolution imaging spectroradiometer，MODIS）、专题绘图仪（thematic mapper，TM）、SPOT5（satellite pour l’observation de la Terre-5）4种卫星数据不同分辨率之间的制约关系，可见AVHRR影像具有较高的时间分辨率（0.5天），MODIS影像具有较高的光谱分辨率（36个波段），SPOT5全色影像具有较高的空间分辨率（2.5?m），TM在几个分辨率方面具有较为平衡的设置。但是，任何一种传感器都不能同时实现*高的空间分辨率、时间分辨率和光谱分辨率，当一种分辨率很高时，其他一种或两种分辨率必然较低。但显而易见，如果对几种传感器进行优势互补，就可以实现对地表地物信息更全面精确的表达，进而提升遥感影像在各方面的应用潜力。
　　图1.2 4种卫星数据空间分辨率、时间分辨率、光谱分辨率之间的制约关系
　　1.3 数据融合的定义
　　数据融合能够突破单一数据的性能限制，有效发挥多平台、多传感器、多角度观测及其他数据类型的互补优势，获取更加精准、全面的数据。数据融合的概念产生于20世纪70年代初期，但其理论方法研究则是20世纪80年代以后才开始（张永生，2005），并取得了快速发展，迄今仍是各应用领域的研究热点。为了增强军事研究人员之间的交流，美国国防部实验室主任联席会议（Joint Directors of Laboratories，JPL）于1986年成立数据融合工作组，并编纂完成数据融合词典（Kessler et al.，1992；White，1991）。在学术领域，尽管在20世纪80年代初期就已经开始了数据融合的研究，但到90年代初才开始有相对正式的定义。
　　目前为止，文献中已出现了包括合并（merging）、结合（combination）、协同（synergy）、综合（integration）、融合（fusion）等多个不同的词汇对影像融合的概念进行表述。其中，“融合”一词被普遍认可且应用*广。Mangolini（1994）、Hall等（1997）、Pohl等（1998）分别对数据融合给出了不同的定义。其中，针对遥感数据融合，Pohl等（1998）的定义比较典型，他们认为影像融合就是利用某种算法，将两幅或多幅影像组合成一幅新影像的技术。该定义十分贴近人们对数据融合的传统认识，但属于狭义的数据融合，因为生**影像并不是影像融合的唯一目标，也可能是为了获取更精确的特征信息、更准确的知识等。Wald（1999）在遥感领域顶级期刊IEEE Transactions on Geoscience and Remote Sensing，以批判的态度专门对数据融合的定义进行了讨论。Alparone等（2015）在其融合专著中，认为遥感数据融合的目标是针对某种调查现象，协同组合两个或更多影像数据，以获取比单一影像更多的知识。我国学者刘继琳等（1998）、贾永红等（2000）、赵书河（2008）等也分别对遥感数据融合给出了不同的诠释。
　　不同学者对数据融合之所以有不同的见解，*根本原因是其涵盖内容广泛，界限确定比较困难，从不同的角度出发就会得出不同的诠释。本书在综合已有研究的基础上，将数据融合定义为：针对同一场景并具有互补信息的多源数据，通过对它们的综合处理、分析与决策，获取更高质量数据、更优化特征、更可靠知识的技术和框架系统。该定义在输入端强调了数据之间的互补性，输出端的融合结果可能是一幅高质量的影像，也可能是更优化的特征，还可能是通过某种决策获得的知识。值得说明的是，数据融合也不一定限制为多个传感器的数据，同一传感器在不同成像条件下获取的数据，只要包含互补信息就可以进行数据融合。
　　学者一般将数据融合分为三个层级，分别为数据级（像素级）、特征级和决策级（Hall et al.，1997）。数据级融合主要是对传感器原始观测数据或经过预处理的数据进行融合，生成分辨率、完整度等性能指标更高的新数据；特征级融合是通过融合过程生成更优化特征，以便于后续的信息提取与应用；决策级融合主要解决不同数据产生结果的不一致性，利用一定的决策规则加以融合，从而获取更可靠的决策知识。需要说明的是，几种融合没有优劣之分，有时界限也不清晰，在一些具体应用中还可以

目录
第1章 绪论1
1.1 地学数据类型1
1.2 不同数据之间的互补性3
1.3 数据融合的定义4
1.4 本书研究内容5
参考文献7
第2章 亚像素位移影像序列超分辨率融合方法9
2.1 概述9
2.1.1 超分辨率技术的概念9
2.1.2 超分辨率技术的遥感应用10
2.2 超分辨率技术基本理论与方法11
2.2.1 观测模型11
2.2.2 参数估计12
2.2.3 超分辨率模型13
2.3 基于深度学习的视频序列超分辨率融合方法15
2.3.1 概述15
2.3.2 时空信息融合网络16
2.3.3 空间梯度增强网络18
2.3.4 联合优化策略20
2.4 视频影像超分辨率融合实验21
2.4.1 测试数据与实验设置21
2.4.2 模拟实验23
2.4.3 真实实验28
2.5 本章小结30
参考文献30
第3章 多传感器遥感影像空-谱融合方法36
3.1 概述36
3.2 空-谱融合方法体系37
3.2.1 成分替换融合方法37
3.2.2 多分辨率分析融合方法41
3.2.3 变分模型融合方法44
3.2.4 机器学习融合方法46
3.3 基于差值映射的深度残差卷积融合网络48
3.3.1 差值映射与梯度辅助策略48
3.3.2 基于差值映射的深度残差卷积融合方法50
3.4 实验结果与分析53
3.4.1 定量评价指标54
3.4.2 模拟实验56
3.4.3 真实实验60
3.4.4 参数量及复杂度分析65
3.5 本章小结66
参考文献66
第4章 多源遥感参量数据时-空融合方法73
4.1 概述73
4.2 时-空融合的发展现状74
4.2.1 线性解混方法75
4.2.2 时空滤波方法75
4.2.3 变分模型方法76
4.2.4 机器学习方法76
4.2.5 混合方法77
4.3 基于非局部滤波的时-空融合方法77
4.3.1 模型框架77
4.3.2 算法流程79
4.3.3 实验结果与分析81
4.4 深度学习时-空融合方法87
4.4.1 模型框架87
4.4.2 网络细节与损失函数89
4.4.3 实验结果与分析91
4.5 多传感器时-空一体化融合方法99
4.5.1 模型框架99
4.5.2 像元筛选与权重计算100
4.5.3 实验结果与分析101
4.6 本章小结108
参考文献108
第5章 多源光学遥感影像时-空-谱一体化融合方法111
5.1 概述111
5.2 时-空-谱一体化变分融合模型112
5.2.1 时-空-谱关系模型112
5.2.2 一体化融合模型115
5.2.3 优化求解算法118
5.3 实验结果与分析118
5.3.1 超分辨率融合实验119
5.3.2 空-谱融合实验120
5.3.3 时-空融合实验121
5.3.4 时-空-谱一体化融合实验122
5.4 本章小结126
参考文献126
第6章 单极化-全极化SAR数据融合方法129
6.1 概述129
6.2 数据组织形式与退化模型130
6.3 机器学习SAR数据融合模型132
6.3.1 高分辨率单极化SAR特征提取模块133
6.3.2 低分辨率全极化SAR超分辨率重建模块134
6.3.3 交叉注意力机制136
6.3.4 融合损失函数138
6.3.5 双-全极化SAR影像融合方法扩展139
6.4 实验结果与分析139
6.4.1 实验数据与预处理140
6.4.2 模拟实验141
6.4.3 真实实验144
6.4.4 极化分析实验145
6.4.5 双-全极化SAR影像融合实验150
6.5 本章小结152
参考文献152
第7章 光学-SAR遥感数据像素级融合方法155
7.1 概述155
7.2 深度循环生成对抗网络融合方法156
7.2.1 双向循环融合框架156
7.2.2 生成器与判别器网络结构158
7.2.3 损失函数160
7.3 实验结果与分析161
7.3.1 分辨率提升实验162
7.3.2 厚云去除实验166
7.3.3 厚云去除与分辨率提升联合处理实验169
7.4 本章小结173
参考文献173
第8章 可见光-短波红外遥感数据融合方法177
8.1 概述177
8.1.1 谱段相关性与互补性177
8.1.2 大气散射规律180
8.2 卷云波段辅助的可见光波段校正方法182
8.2.1 卷云校正模型183
8.2.2 参数求解183
8.2.3 实验结果与分析187
8.3 基于梯度融合的影像薄云雾校正方法193
8.3.1 归一化梯度融合变分模型193
8.3.2 波段相关性先验194
8.3.3 有约束的归一化梯度融合模型195
8.3.4 实验结果与分析196
8.4 短波红外波段引导的融合重建方法199
8.4.1 云区与非云区分离199
8.4.2 相似像元高精度匹配200
8.4.3 空谱马尔可夫薄云校正模型201
8.4.4 实验结果与分析203
8.5 本章小结204
参考文献204
第9章 多参量数据融合降尺度方法207
9.1 概述207
9.1.1 空间降尺度207
9.1.2 确定性降尺度208
9.1.3 统计降尺度208
9.2 多元自适应回归样条降尺度方法210
9.2.1 前向选择210
9.2.2 后向剪枝211
9.3 顾及尺度一致约束的卷积网络降尺度方法212
9.3.1 双模式交叉注意力模块213
9.3.2 内嵌注意力的残差密集卷积模块214
9.3.3 损失函数设计216
9.4 实验结果与分析216
9.4.1 研究区域与数据216
9.4.2 实验方案设计218
9.4.3 模拟实验219
9.4.4 真实实验224
9.5 本章小结231
参考文献231
第10章 遥感与地基观测数据点-面融合方法236
10.1 概述236
10.1.1 点-面融合基本概念236
10.1.2 大气PM2.5浓度点-面融合估算238
10.1.3 顾及时空规律的机器学习点-面融合建模240
10.2 研究区域与数据240
10.2.1 地基站点数据241
10.2.2 卫星观测数据241
10.2.3 气象再分析资料241
10.2.4 数据预处理242
10.3 时空关联深度学习点-面融合方法242
10.3.1 深度置信网络242
10.3.2 时空关联因子提取244
10.3.3 时空关联深度学习244
10.3.4 实验结果与分析246
10.4 时空地理加权学习点-面融合方法249
10.4.1 模型结构250
10.4.2 时空加权方案251
10.4.3 权值优化求解251
10.4.4 模型参数选择252
10.4.5 实验结果与分析252
10.5 全局-局部结合时空神经网络点-面融合方法258
10.5.1 通用时空地理加权学习模型258
10.5.2 全局-局部建模框架259
10.5.3 实验结果与分析261
10.6 点-面融合方法对比评估266
10.6.1 考虑站点不均匀分布的验证方法267
10.6.2 模型评价结果及其对比268
10.7 本章小结270
参考文献270
第11章 对地观测与社会感知数据融合方法275
11.1 概述275
11.2 研究区域与数据277
11.3 融合对地观测与社会感知的PM2.5估算方法279
11.3.1 特征变量提取279
11.3.2 关系建模与参量估计282
11.4 实验结果与分析283
11.4.1 描述性统计结果283
11.4.2 定量评价结果284
11.4.3 制图评价结果286
11.4.4 社会感知变量影响分析289
11.4.5 其他城市扩展应用290
11.5 本章小结293
参考文献293
第12章 对地观测数据与动力学模式同化融合方法296
12.1 概述296
12.2 模式-遥感数据同化方法297
12.2.1 数据同化基本原理297
12.2.2 数据同化算法297
12.2.3 模型算子与观测算子302
12.2.4 研究区、数据与实验方案304
12.2.5 实验结果与分析307
12.3 遥感-模式数据融合方法312
12.3.1 基本原理与研究现状312
12.3.2 遥感-模式一体化融合框架313
12.3.3 研究区与实验数据317
12.3.4 实验结果与分析319
12.4 本章小结327
参考文献327
第13章 多源地学数据广义时-空-谱一体化融合方法332
13.1 概述332
13.1.1 **时-空-谱融合框架的局限332
13.1.2 “谱”的内涵延拓333
13.1.3 时-空-谱融合的广义理解333
13.2 多源异质遥感影像的时-空-谱一体化融合方法334
13.2.1 异质时-空-谱一体化融合框架334
13.2.2 损失函数336
13.2.3 实验结果与分析337
13.3 面向参量降尺度的广义时-空-谱一体化融合方法342
13.3.1 土壤水分观测及其降尺度342
13.3.2 数据介绍343
13.3.3 广义时-空-谱一体化融合降尺度方法345
13.3.4 实验结果与分析347
13.4 本章小结351
参考文献351