图像融合篇
第1章 图像融合概述
1.1 图像融合简介
作为信息融合领域的重要分支之一，多源图像融合综合了图像处理、信号处理、计算机视觉与人工智能等众多学科的理论。融合的本质是对源图像中的信息进行优化、筛选与组合，从而降低单一类型传感器成像可能存在的多义性、不完整性与不确定性，提高在特征提取、分类与目标识别等方面的有效性 [1]。根据成像传感器的不同，融合类型可分为红外与可见光图像融合、合成孔径雷达( Synthetic Aperture Radar，SAR)与可见光融合、多光谱图像融合等。根据融合信息的抽象层次不同，融合类型可分为像素级、特征级与决策级融合三类，其中，像素级融合的结果信息量最大也最全面，更易于被人的视觉系统所接受，适合进一步进行目标检测、目标识别等，因此目前受到的关注与研究最多。
红外与可见光图像融合是当前多源图像融合中的一大研究热点 [2]。红外传感器可透云雾成像，能全天候执行侦察任务，但成像质量不佳，细节模糊；可见光成像清晰度与对比度更高，但在云烟雾及光照不良条件下成像效果不佳。综上所述，单一类型的传感器难以胜任复杂战场条件下的侦察任务，因此需要通过图像融合技术实现不同传感器之间的信息互补，提高侦察信息获取的可靠性。图 1-1为可见光与红外图像像素级融合过程示意图。
图1-1 红外与可见光图像像素级融合过程示意图
在图 1-1中，目标首先通过传感器成像得到源图像，为了解决成像过程中噪声及运动干扰导致的图像模糊问题，需要对源图像进行降噪或增强等预处理操作；为了消除成像过程中产生的缩放、旋转与平移等图像畸变，满足后续融合要求，需要对预处理得到的图像进行空间位置上的配准；在预处理及配准后，通过融合源图像，实现两种不同类型传感器之间的信息优势互补，并对融合结果进行评价；融合结果中的信息更完整全面，因此可以进一步提取融合结果中的信息进行图像分类、目标检测、识别等，并应用于实际任务中。
1.2 红外与可见光图像配准及融合研究现状
在像素级融合中，源图像只有在分辨率一致、大小相同且在同一坐标系中严格对齐的情况下，才能满足融合条件。无人机在航空侦察的过程中，机载传感器受成像距离、角度等因素的影响，成像后图像可能存在空间上的缩放、平移、旋转等畸变，因此在融合前，需要通过图像配准消除图像畸变，使源图像满足融合条件。在实际应用中，图像配准应快速、精准，才能提高整个融合过程的效率，满足对实时性的需求。
1.2.1 图像配准技术研究现状
图像配准是指对从不同视点、不同时间或不同传感器获得的同一场景的两幅或多幅图像建立对应关系的过程。 20世纪 70年代，美军提出将图像配准技术用于飞行器辅助导航与制导发射等领域，这是图像配准技术在军事领域的首次应用。随着军事技术的发展，无人机开始广泛应用于航空侦察，基于图像配准的辅助导航系统也大量装备在无人机上以辅助导航[3]，此外，图像配准也广泛应用于医学检测[4]、车辆检测 [5]等民用领域。
图像配准技术最初主要针对同源图像，随着多传感器成像技术的迅速发展，针对异源图像配准技术的研究逐渐引起专家学者的关注。由于传感器的成像机理不同，得到的图像在颜色、纹理、分辨率等方面差异较大，所以异源图像配准的难度较同源配准更高。目前，异源图像配准方法可根据对图像信息的利用情况分为基于灰度与基于特征两大类。
基于灰度的配准方法直接利用局部图像的灰度信息建立异源图像之间的相似性度量，而后搜索求解使相似性度量值最大或最小的变换模型参数，常用的相似性度量包括 Hausdorff距离、互信息等。由于噪声影响图像的灰度分布，且该类方法对图像的空间结构特征利用不够，故配准鲁棒性通常较差，搜索求解过程容易陷入局部最优，提升该类方法性能的关键是寻找更好的相似性度量及改进搜索求解策略。
基于特征的配准方法通过提取图像局部特征作为异源图像配准的参考信息，该类方法分为特征提取与特征匹配两个步骤，常用于匹配的特征包括角点、边缘、轮廓等[6]。由于图像局部特征的不变性，该类方法的鲁棒性较基于灰度的配准方法更强，配准效果更好，但实现更复杂 [7]。目前主流的特征匹配方法有尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)、加速鲁棒特征( Speeded-Up Robust Features，SURF)、定向 FAST和旋转 BRIEF特征(Oriented FAST and Rotated BRIEF，ORB)等，在匹配速度上， ORB较 SIFT与 SURF有数量级上的提升，更适合实际应用[8]。但 ORB在一些尺度变化较大的场景下匹配效果较差，如何解决 ORB的尺度不变性问题是提升该算法性能的关键 [9]。
在红外与可见光图像配准领域，两者的灰度差异较大是制约配准精度的主要因素，因此当前的研究集中在如何消除灰度差异对配准精度的影响，目前已有的方法包括轮廓拟合、显著性检测、边缘检测 [10]等。这些方法通过检测并提取红外与可见光图像的共同特征如轮廓、边缘等，来减弱灰度差异对配准精度的影响，尽管部分方法精度足够高，但配准速度慢，而图像配准在实际应用中只是众多步骤的一环，因此如何平衡精度与速度之间的矛盾，使方法能够得到实际应用，是红外与可见光图像配准研究中的重点和难点。
1.2.2 图像融合技术研究现状
在国外，美国是融合技术起步最早、发展最快的国家。 1973年，美国国防部通过融合声呐信号，实现敌方潜艇位置的自动检测，被视为信息融合技术应用在军事领域的开端。 70年代后期，格鲁门公司利用红外与可见光图像的信息互补性，生产了一种增强型夜视镜用于提高美军夜间执勤能力。近年来，美军在不断研究微光和多波段融合方法，以确保其夜视技术方面的领先优势，引起了世界军事强国的高度关注。目前，美国正积极研制一种覆盖可见光、红外和雷达成像的多谱段传感器信息融合系统，以提高战场感知能力。
相关方法上，国外研究水平始终处于领先地位。早期融合方法集中于空域，主要有加权平均、主成分分析等，这类方法计算量小，易于实现，但图像并不是孤立像素点的集合，空域法容易割裂图像的空间构成，造成对比度的下降与细节信息的损失。金字塔融合 [11]的面世，标志着融合方法从空间域转入变换域，此后，小波融合、脊波变换、轮廓波变换 [12]等基于变换域的方法相继被提出。此外，神经网络、压缩感知、稀疏表示等理论也大量用于图像融合研究 [13]。最近，伴随着深度学习的热潮，部分学者提出基于低秩矩阵分解及卷积神经网络( Convolutional Neural Network，CNN)理论的融合方法构想，尽管目前相关方法在目标识别、目标检测等方面已取得显著成效，但由于图像融合涉及图像分解、特征分类、特征选择与图像重建等众多理论，所以将相关方法应用于图像融合还有待进一步探索。
在国内，由于对信息融合理论与技术的研究起步较晚，发展相对落后， 80年代末才出现有关多源信息融合技术的研究报告。为紧跟前沿，政府将信息融合技术列为“863”计划与“九五”规划中的国家重点研究项目，并将其确定为计算机技术领域的关键技术之一。随后，在政府、军方及各类基金的扶持下，大批高校与研究所投入了相关研究中，在图像融合领域，也取得了丰硕的研究成果 [14]。
应用层面上，1999年，我国在“资源一号”卫星上同时安装了电荷耦合元件(Charge-Coupled Device，CCD)与红外扫描仪，通过图像融合，有效扩大了卫星的遥感区域。北京理工大学于 2009年研制的基于 YUV色彩空间传递的彩色图像融合系统，能实现红外与可见光图像的伪彩色融合 [15]。同年，南京理工大学也开发了一套能够实现快速融合的伪彩色图像实时融合系统。此外，上海交通大学、中科院长春光机所等研究机构也长期与军方部门合作，一直从事红外与可见光图像融合的研究。
学术层面上，由于起步较晚，国内学者在图像融合领域的提出的创造性理论较少，主要侧重于对国外已有的理论进行完善与运用。具有代表性的研究成果主要有马义德的基于脉冲耦合神经网络 (Pulse Coupled Neural Network，PCNN)的融合理论、刘羽的基于多尺度变换与稀疏表示的图像融合框架 [16]、马佳义的梯度转换与最小全变差模型[17]等。此外，国内学者尝试将深度学习应用于图像融合，如李红 [18]等将深度支撑值学习网络用于遥感图像、蔺素珍 [19]等提出基于深度堆叠 CNN的图像融合方法、马佳义 [20]利用生成式对抗网络( Generative Adversarial Network，GAN)融合红外与可见光图像等，展现了国内学者勇于开拓创新的科研精神。
尽管我国在图像融合领域研究成果突出，尤其是在红外与可见光图像融合方面硕果累累，但总体而言，由于缺乏实际的多传感器系统应用需求的牵引，图像融合领域的研究更倾向于探索与仿真，且研究过程中并未针对不同层次不同类型的融合建立广受认可的详细数学模型和完整理论体系，很多研究工作只针对某些应用领域的特定问题展开，缺乏普适性。因此，需要进一步研究图像融合的数学本质，建立具有普适性的数学模型，并加强需求牵引，才能更好地引导研究成果服务于实际应用，从而提高我国的军事实力。
1.3 成像特性分析
1.3.1 红外成像特性
红外线( Infrared Ray，IR)波长介于可见光与微波之间，根据波长不同，可分为近、中、远红外线三类。近波红外波长介于 0.7～2.5μm，穿透力最强；中波红外波长介于 2.5～25μm，穿透力较强；远波红外波长介于 25～1000μm，穿透力最弱。根据成像红外线来源的不同，成像方式可划分为主动式与被动式：主动式成像通过成像设备主动向目标发射红外线，通过接收反射的红外辐射成像；被动式成像通过接收目标热辐射产生的红外线成像。
理论上，高于绝对零度的目标就能产生红外线。实际情况下，目标与环境的温差越大，能量传递产生的热效应越强，这种热效应产生的辐射差异通过红外成像仪映射成图像中的灰度值。在红外图像中，灰度值越高的地方表示辐射差异越大，热效应越强。由于目标边缘处与环境的辐射差异更大，所以边缘处在红外图像中通常
展开
