第1章绪论
　　1.1多模态遥感图像配准的意义
　　遥感是一种远距离的、非接触的目标探测技术和方法。具体地讲，是指在航空飞机和人造卫星等各种平台上，利用各类传感器获取反映地表特征的各种数据，并通过变换、加工和处理，提取有用的信息，对地表目标进行定性或者定量的描述[1，2]。20世纪60年代初，科学家们提出了“遥感，，的概念，并把多光谱技术应用到地形特征的航空勘测上，成功地研制了多谱段彩色合成系统。卫星遥感技术的广泛应用始于20世纪70年代，美国于1972年发射了第一个地球资源技术(Landsat)卫星，20世纪80年代后，法国和欧洲航天局分别相继发射了 SPOT (systeme probatoire d，observation dela tarre)系列卫星和 ERS (Europe remote sensing satellite)系列卫星。这些卫星获取的数据在陆地资源调查、环境和灾害监测以及地形测图等众多领域得到了广泛应用。近十年来，高分辨率成像技术、高光谱成像技术和微波成像技术得到了快速发展。目前民用卫星中空间分辨率最高的Worldview 4达到了0.3米分辨率，美国的高光谱传感器（airborne visible infrared imaging spectrometer， AVIRIS)具有224个波段，德国的合成孔径雷达（synthetic aperture radar， SAR)卫星TerraSAR-X的分辨率达到了1米；我国发射的高分7号卫星的分辨率达到了亚米级，高分5号卫星具有300多个波段，高分3号卫星具有SAR成像能力。由此可见，高光谱分辨率、高时间分辨率技术和微波成像技术已成为遥感技术发展的新趋势，并具有良好的应用前景。
　　随着航空航天技术、传感器技术和数据通信技术的飞速发展，现代遥感技术已经进入一个多传感器、多光谱、多分辨率和多时相的发展新阶段。新型传感器不断涌现，过去的单一传感器已经发展成为现在的多种类型的传感器，能够获取到同一地区的不同空间分辨率（尺度）、不同光谱和不同时相的多模态遥感图像，即来自不同传感器且具有不同光谱类型的图像数据如可见光、红外、SAR、激光雷达（light detection and ranging，LiDAR)和栅格地图等（图1-1)。多模态数据能为地表监测提供丰富而又宝贵的资料，从而构成了资源调查、环境监测、灾害防治和全球变化研究等多方面应用。
　　各种单一的遥感传感器获取的单模态图像数据在时相、光谱和空间分辨率方面存在明显的局限性，而现实应用中要对地表进行全面观测和综合分析，仅仅利用一种模态的遥感图像数据是难以满足实际需求的。由于多模态遥感图像能够反映地物的不同特征，所包含的地物信息具有一定的互补性，所以可以根据不同的应用需求，对这些多模态图像进行数据融合，为地表监测提供更加全面、准确和丰富的信息。其中，高精度的图像配准是多模态数据融合的前提条件。
　　图1-1多模态遥感图像
　　除了在多模态数据融合方面得到广泛应用外，图像配准也是变化检测、图像拼接、地形图更新、三维重建和飞行器导航等工作的基本预处理步骤。实际中，受传感器的成像方式、地球自转、大气折射和地形起伏等因素的影响，获取到的遥感图像往往存在较大的几何变形，进行图像配准是进一步的图像分析和应用工作的必要步骤，而且配准精度会对后续的图像分析工作产生重要的影响。比如在变化监测中，如果没有对遥感图像进行较高精度的配准，在图像间检测到的变化信息则可能是由图像间位置交错而产生的并非图像本身发生的改变，这将会大大地影响变化检测的精度。遥感图像的拼接中，首先需要对图像进行配准来保证图像间重叠范围内的像素一一对应，否则若图像在拼接缝位置发生偏移，拼接工作将无法顺利进行。在地形图更新之前也需要对遥感图像进行几何纠正，消除图像的几何畸变，使图像与地球表面完全地配准或叠合在一起。在三维重建和飞行器制导等方面，图像配准也是必不可少的预处理步骤。由此可见，图像配准在众多应用领域中都发挥了不可或缺的作用。
　　国际上的一些主流商业软件如ERDAS和ENVI，虽然集成了图像自动配准模块，但只适用于单模态（同一传感器）图像的配准，不能有效地实现多模态图像的自动配准[3]。在实际生产中，多模态图像配准大多要求人工输入控制点，即由用户在图像间目测同名点，然后进行配准，这种方法需要耗费大量的人力和物力，而且受主观因素的影响，会出现不同程度的配准误差，影响了生产效率，寻找一种快速、精确、自动的图像配准方法有着较大的业务需求和应用前景。另外，多模态遥感图像间往往存在较大几何变形和灰度（辐射）差异①（图1-1)，导致同名点的自动获取非常困难。因此，多模态遥感图像的自动配准是当今研究的热点和难点问题。
　　1.2图像配准技术概述
　　1.2.1图像配准的定义
　　图像配准是将不同时相、不同传感器和不同拍摄条件下获取的两幅或多幅图像进行匹配和叠加，使图像间的像素精确对准的过程[4]。在配准过程中，指定其中一幅图像作为参考图像A(x，y)，与之进行匹配的图像称为输入图像I2(x，y)，图像配准的数学定义如下
　　(1-1)
　　式中，n)代表相似性测度函数，t(x)代表二维几何变换模型。图像配准的目的是求解参考图像和输入图像之间的最优几何变换模型。在实际过程中，通常首先需要在图像间进行同名点匹配，然后根据获得的同名点求解图像间的几何变换模型。
　　1.2.2图像配准的基本步骤
　　在过去几十年中，随着计算机性能的不断提升和传感器制作工艺的持续进步，图像配准已逐渐成为数字图像处理和分析的关键步骤，在计算机视觉、医学图像分析、遥感和军事等领域得到了广泛的应用。大多数图像配准的过程主要分为以下四个步骤[4](图1-2)。
　　(1)特征提取：在参考图像和输入图像上提取明显的特征，如角点、边界、轮廓以及封闭区域等。
　　图1-2图像配准的基本步骤
　　(2)特征匹配：通过特征之间的相似性进行匹配，建立特征的对应关系，获得图像间的同名点或同名区域。
　　(3)几何变换模型估计：选择能够将参考图像和输入图像对齐的几何变换模型，并利用同名点的坐标估计变换模型的参数。
　　(4)图像变换和重采样：利用变换模型对输入图像进行几何变换（或纠正），并对变换后图像的灰度值进行重新赋值。
　　1.2.3配准精度评价
　　配准精度评价是衡量配准结果好坏的重要环节，而通常两幅图像间真实的变换参数是未知的，难以直接分析图像配准的几何误差。实际过程中，配准精度评价分为两种方法，即定性评价和定量评价。定性评价通常是将参考图像与配准后的图像叠加在一起，通过目视检测定性地判断配准结果的好坏。在定量评价中，一种常用的方式是人工地在参考图像和配准后的图像间选取一定数量的同名点对作为检查点，利用检查点对之间的均方根误差（root mean square error，RMSE)和平均绝对误差（mean absolute error， MAE)作为精度评定指标，公式表示如下
　　(1-2)
　　(1-3)
　　式中，（x， y)代表参考图像的坐标，（x'， y')代表配准后图像的坐标。检测点的RMSE 和MAE值越小说明配准精度越高。
　　1.3多模态遥感图像自动配准所面临的挑战
　　不同传感器的成像模式和成像波谱不同，使得多模态遥感图像往往在几何和灰度（辐射）方面存在着较大的差异。同时，地表环境随着时间变化而不断改变，这导致不同时间获取的遥感图像包含了不同的地物信息。这些因素给多模态遥感图像的自动配准带来了以下几个方面的问题。
　　(1)传感器成像方式不同造成的差异。
　　目前遥感传感器的成像方式可分为光机扫描式、推帚扫描式和雷达侧视成像三种类型。不同成像的方式会导致地物目标出现不同形式的几何变形，再加上传感器侧视角度、地表起伏等因素的影响，造成图像局部范围内存在不可预知的几何畸变，使得遥感图像的精确配准十分困难。图1-3为不同侧视角度获取的两幅遥感图像，图像中的建筑物呈现出不同方向的倒伏现象。
　　图1-3不同视角成像的遥感图像
　　(2)图像的分辨率或尺度差异。
　　由于传感器平台飞行高度以及传感器拍摄的瞬时视场角的不同，所获取的图像往往具有不同的空间分辨率。不同分辨率的图像呈现出不同的细节信息，导致图像间共有特征提取的难度较大。图1-4显示了两组不同分辨率的遥感图像。可以看出，高分辨率的图像呈现出清晰的细节，特征信息丰富，而低分辨率的图像相对更模糊，特征信息较少。
　　图1-4不同分辨率的遥感图像
　　(3)图像获取时间不同造成的差异。
　　在对地观测中，卫星传感器在不同的时间对地表的同一区域进行监测。而随着时间的改变，地表覆盖会随之发生变化，导致多时相的图像间呈现出不一致的内容。如图1-5所示，可以发现，在椭圆内，地表目标发生了明显的变化，导致两幅图像间共有区域减少，大大地增加了图像自动配准的难度。
　　图1-5旧金山地区不同时间的遥感图像
　　(4)图像的光谱差异。
　　遥感是通过获取地物发射和反射的电磁波来探测地表信息的一种技术。地物在不同波谱下的辐射特性有所不同，在遥感图像上呈现为不同的灰度信息，比如可见光图像反映的是一般的视觉特征，而红外图像更多地反映地物的温度特性，