目前，光学卫星成像已由单传感器成像时代全面进入多传感器成像时代。多源遥感图像融合技术是光学卫星多传感器成像应用的关键核心技术，在遥感制图、图像判读、图像解释等应用中发挥着基础性作用。本书系统地介绍了遥感图像融合的研究背景、概念内涵和主要方法，包括多源遥感图像融合评价方法、宽幅多源光学遥感图像配准方法、全色与多光谱图像高保真融合方法、全色与高光谱图像高保真融合方法、多光谱与高光谱图像高保真融合方法，并给出了大量的实验分析与示例。本书取材广泛、理论与应用密切结合，对光学遥感图像融合应用与研究具有很好的指导意义。 本书可为科研院所、高等院校从事遥感图像融合研究与应用工程技术人员、教学科研人员提供参考。

第1章绪论
　　1.1多源图像融合的意义
　　图像是一种广泛使用的信息载体，统计表明人类从外界获取的信息80%以上来自于视觉图像[1]。随着信息技术和信息产业的快速发展，人类社会已全面进入信息化时代，数字图像已成为人类活动所涉及信息的主要来源。数字图像具有信息量大、直观形象、便于传输存储和容易理解等优点，其应用领域涉及经济建设、社会发展、国防安全的各个层面，在推动经济社会发展、改善生活水平方面起到了重要促进作用[2]。总体而言，生态治理、防灾减灾、精细农业、国防安全、海洋开发等领域均需要高分辨率图像作为媒介[3]。
　　遥感技术*早出现于20世纪60年代，通过远距离对地观测采集探测物体反射、辐射或散射的电磁波信息，然后对采集的信息进行解译[4]。传感器是遥感系统的关键构成部分，主要探测与采集目标的电磁信息。由于单一传感器采集的信息不能充分反映观测目标的特性，为了获取更为丰富的观测信息，卫星往往搭载多个不同类型的传感器，以便采集到丰富的电磁信息[5]。遥感系统的传感器可分为无源传感器和有源传感器两类。其中，无源传感器自身不发射电磁波，仅接收自然来源的辐射电磁波，例如，接收地表物体反射的太阳电磁波[6]；有源传感器具有内置的辐射源，观测对象被动接收传感器的辐射，而传感器再次接收并记录反射至传感器的辐射。目前，遥感系统通常采用数字化形式记录传感器接收辐射信息，并被处理成为可视化图像数据[7]。
　　目前，光学卫星成像已由单传感器成像时代全面进入多传感器成像时代。2000年，欧美等国家和地区的光学卫星正式步入多传感器同时相成像时代，发射了包括EO-1、QuickBird、GeoEye-1、WorldView-2/3/4、Landsat-8、Sentinel-2和Pleiades等在内一系列光学卫星，均同时相采集不同光谱波段的遥感图像数据，如表1.1所示。同时，我国空间对地观测事业已经进入一个快速发展的黄金时期。在《国家中长期科学和技术发展规划纲要(2006-2020年)》战略部署中，高分辨率对地观测系统被列为国家重大科技专项之一，该专项建成了服务国家战略和经济社会发展的高分辨率对地观测系统，确保了对地观测信息资源的自主权。自2010年以来，我国已发射了大量同时搭载全色和多光谱、高光谱或红外相机的光学卫星，例如，北京一号、高分一号、高分二号、高分四号、高景一号和吉林一号等。这些卫星均可同时相采集不同光谱波段的遥感图像数据。
　　由于成像传感器以及卫星对地数据传输等客观条件制约，光学卫星成像的空间分辨率与光谱分辨率是一对相互制约物理量，提高成像的空间分辨率，则成像的光谱分辨率受限；同理，提高成像的光谱分辨率，则成像的空间分辨率也受限[8]。因此，光学卫星同时相采集全色与光谱图像时，全色图像的光谱分辨率低而空间分辨率高，多光谱或高光谱图像的光谱分辨率高而空间分辨率低。然而，无论是遥感图像的人工解译判读，还是机器智能分析，均需要利用高分辨的全色与多光谱或高光谱融合图像才能获得理想的应用效果[9]。如图1.1所示，利用单一传感器信息，或者分别从多传感器中抽取目标特征再进行特征级或决策级融合，二者均难以取得理想的应用效果。
　　图1.1展示了融合图像的应用优势，全色图像与高光谱图像的空间分辨率分别为0.8米与10米：若单纯利用全色图像检测车辆目标，由于车辆所占全色像元数量少，其精准检测非常困难；若单纯利用高光谱图像检测车辆目标，由于车辆在高光谱像元中所占比例不足1%，车辆的特征光谱被地物背景所混淆，其精准检测非常困难；如图1.2(a)所示，若从全色与高光谱图像中分别提取车辆的特征，然后采用
　　特征级或决策级融合检测车辆目标，由于目标检测模型不能“同步”利用“全色图像中车辆的几何特征”与“高光谱图像中车辆的光谱特征”，车辆目标的检测准确率依然受限；但是，如图1.2(b)所示，若利用融合图像方法对全色与高光谱图像进行融合处理，在此基础上对融合像进行车辆目标检测，则能精准地从融合图像中检测车辆目标。因此，如何将不同类型传感器采集的遥感图像合成为一幅“图谱合一”的高分辨率融合图像是目前遥感图像应用的一个核心环节[10-14]。
　　尽管目前已有许多关于遥感图像融合的研究，但现有方法不能同时兼顾光谱色彩保真和空间细节保真要求；同时，卫星对地观测的成像幅宽大，这些方法主要针对小尺寸图像，计算量大，难以满足宽幅图像融合的高时效要求。因此，本书的多源遥感图像融合技术主要致力于全色与光谱图像、多光谱与高光谱图像的高保真融合研究，使融合图像在实际应用中发挥“一加一大于二”的效果，提高光学遥感图像的判读效率和解译准确性。
　　1.2遥感图像融合的定义
　　通常，图像融合划分为像素级[15]、特征级[16]和决策级[17]三个层级。如图1.3所示，本书的多源遥感图像融合是指对多源遥感图像进行像素级合成，生成一幅“图谱合一”融合图像。本方法从两个不同视角给出了多源遥感图像融合的定义：①从信息融合的视角，多源遥感图像融合是对不同传感器采集的多源图像进行像素级合成处理，生成一幅高空间分辨率和高光谱分辨率的融合图像；②从图像锐化的视角，多源遥感图像融合是利用高空间分辨率的全色图像来锐化高光谱分辨率的多光谱或高光谱等图像，即将全色图像的空间细节信息“注入”多光谱或高光谱等图像中，达到提高多光谱或高光谱等图像空间分辨率的效果[18，19]。
　　多源遥感图像经过像素级融合处理，生成一幅高分辨率“图谱合一”图像。为了保证后续分析与处理的准确性，像素级融合图像必须要满足空间细节保真和光谱色彩保真要求。其中，空间细节保真是指融合图像的空间细节与全色图像的空间细节保持一致，否则，融合图像存在空间细节失真；光谱色彩保真是指融合图像的光谱色彩与多光谱图像的光谱色彩保持一致，否则，融合图像存在光谱色彩失真。一般而言，遥感融合图像失真主要存在数据和技术两个方面的原因。在数据方面，如图1.4所示，由于成像传感器的非均匀光谱响应，各类融合方法难以合成高保真的低分辨率全色图像，从而产生融合图像的光谱色彩失真与空间细节失真；在技术方面，现有融合方法受到非均匀光谱响应影响，始终在平衡光谱色彩保真与空间细节保真效果，难以实现光谱色彩与空间细节的全面保真。
　　在处理流程上，如图1.5所示，多源遥感图像融合处理包含图像配准和图像融合两个步骤。其中，图像配准主要是将同时相采集的两幅图像在空间上逐像素点精准对齐。图像精确配准是多源遥感图像高保真融合的前提，两幅图像的配准精度直接影响着两幅图像的融合保真度。因此，本书既阐述了图像高保真融合技术，还阐述了图像高精度配准技术。
　　1.3遥感图像配准方法概述
　　图像配准就是将不同成像传感器时间、不同成像时相下采集的两幅图像，在空间上逐像素一一对齐的过程[20]。图像配准是遥感图像融合的一个基础性前置步骤，只有精确配准遥感图像才能实现高保真融合处理。然而，遥感图像的高精度配准是一项极为困难的工作，例如，如图1.6(a)所示，由于成像的视角差异，存在部分高耸建筑配准误差较大的问题；此外，如图1.6(b)所示，存在部分地物因为成像过饱和而配不准的问题。实际应用中，这两类配准误差往往难以消除，因此一个优秀的融合图像方法应能容忍此类配准误差[18]。下面进一步阐述图像配准的一般步骤、对齐基准的匹配度量以及几何变换模型等要素。
　　1.3.1遥感图像配准步骤
　　图像配准经历了几十年的发展，在实际应用过程中取得了长足的进步，但对于不同的应用环境和场景，仍没有一种通用的配准方法可以适用于任何场景。一般而言，多源遥感图像配准需要以下四个步骤。
　　步骤1：参照物提取—从参考图像和输入图像中提取用于图像配准的参照物，如角点、边界、轮廓以及斑点等；
　　步骤2：参照物匹配—从参考图像和输入图像中分别提取参照物的特征，依据特征的相似程度进行参照物匹配，建立两幅图像中参照物之间的空间对应关系；
　　步骤3：变换模型估计—选择能够将参考图像和输入图像空间对齐的几何变换模型，然后利用参照物之间的空间对应关系计算变换模型的参数；
　　步骤4：图像重采样—利用变换模型对输入图像进行几何变换，并根据几何变换模型对变换后图像中的像元重新赋值。
　　参照物提取是多源遥感图像配准的核心步骤。一般而言，优秀的参照物提取方法需要满足以下四个特性：重复性，相同的参照物在输入图像与参考图像中均能找到；区别性，不同参照物可相互区分，从而使相同参照物能够准确地相互匹配；高效性，在同一幅图像中，参照物的数量远小于像元的数量；局部性，仅从参照物所在的局部区域内提取特征即能有效鉴别不同的参照物。

目录
序
前言
第1章 绪论 1
1.1 多源图像融合的意义 1
1.2 遥感图像融合的定义 4
1.3 遥感图像配准方法概述 5
1.3.1 遥感图像配准步骤 6
1.3.2 图像几何变换模型 7
1.3.3 图像的插值重采样 8
1.3.4 遥感图像配准方法 9
1.4 遥感图像融合方法概述 11
1.4.1 分量替换法 11
1.4.2 比值变换法 14
1.4.3 频率分解法 15
1.4.4 深度学习法 16
1.5 主要研究内容 18
1.6 本章小结 19
参考文献 19
第2章 多源遥感图像融合评价方法 25
2.1 图像配准精度评价 25
2.1.1 主观配准评价 25
2.1.2 客观配准评价 26
2.2 图像融合保真度评价 29
2.2.1 主观融合评价 29
2.2.2 客观融合评价 32
2.3 本章小结 38
参考文献 38
第3章 宽幅多源光学遥感图像配准方法 41
3.1 宽幅多源光学遥感图像配准存在的问题 41
3.1.1 图像自身因素导致的配准问题 41
3.1.2 技术局限因素导致的配准问题 44
3.2 基于斑点尺度与斑点纹理约束的宽幅遥感图像配准方法 46
3.2.1 SIFT配准方法简介 46
3.2.2 宽幅全色与多光谱图像的子块划分 50
3.2.3 基于相位相关性的图像子块粗配准 51
3.2.4 基于各向异性高斯尺度空间的特征点提取 52
3.2.5 基于斑点尺度与斑点纹理约束的图像子块精配准 54
3.2.6 实验结果和分析 58
3.3 DoG与VGG网络结合的遥感图像配准方法 63
3.3.1 特征点误匹配原因分析 63
3.3.2 DoG与VGG结合的配准网络模型 64
3.3.3 配准网络模型训练样本生成 66
3.3.4 实验结果和分析 66
3.4 本章小结 70
参考文献 71
第4章 全色与多光谱图像高保真融合方法 73
4.1 基于整体结构信息匹配的高保真融合方法 73
4.1.1 高保真融合定义 73
4.1.2 图像融合存在的问题分析 75
4.1.3 基于整体结构信息匹配的高保真融合方法 77
4.1.4 实验结果和分析 81
4.2 基于像素分类与比值变换的高保真融合方法 88
4.2.1 乘性变换融合模型 88
4.2.2 低分辨率全色图像合成 89
4.2.3 实验结果和分析 90
4.3 基于生成对抗网络的高保真融合方法 95
4.3.1 深度网络的基本操作 95
4.3.2 典型的深度网络融合模型 97
4.3.3 基于GAN的全色与多光谱图像融合模型 98
4.3.4 实验结果和分析 102
4.4 本章小结 108
参考文献 108
第5章 全色与高光谱图像高保真融合方法 110
5.1 基于残差网络的图像融合方法 110
5.1.1 比值变换法 111
5.1.2 残差注意力网络 112
5.1.3 损失函数 113
5.1.4 实验结果和分析 114
5.2 基于生成对抗网络的图像分层融合方法 118
5.2.1 融合模型总体结构 118
5.2.2 差值图像初始化 119
5.2.3 生成对抗网络结构 120
5.2.4 实验结果和分析 123
5.3 本章小结 128
参考文献 129
第6章 多光谱与高光谱图像高保真融合方法 131
6.1 基于稀疏表示与双字典的多光谱与高光谱图像融合方法 131
6.1.1 高光谱图像的稀疏特性分析 132
6.1.2 基于稀疏表示与双字典的多光谱与高光谱图像融合 134
6.1.3 实验结果和分析 140
6.2 基于多路神经网络学习的多光谱与高光谱图像融合方法 152
6.2.1 多路神经网络学习152
6.2.2 基于多路神经网络学习的多光谱与高光谱图像融合 153
6.2.3 实验结果和分析 158
6.3 本章小结 165
参考文献 165
彩图