《图像超分辨率重建》是作者近十年的研究工作总结。《图像超分辨率重建》共分为8章，前两章主要介绍了图像超分辨率重建的基础知识，包括技术产生的背景、基于原理与方法、发展与应用现状等。第3～8章针对不同的技术问题，详细阐述了作者发展的各种超分辨率重建方法，主要包括超分辨率重建的联合求解方法、空间自适应超分辨率重建方法、正则化参数的自适应求解方法、高光谱图像的超分辨率重建方法、光学变焦序列图像的超分辨率重建方法和多时相遥感图像的超分辨率重建方法。
     《图像超分辨率重建》适合研究图像超分辨率的科研人员参考，也可供相关专业的研究生和技术人员阅读。

     第1章 绪 论
     1.1 图像超分辨率重建产生的技术背景
     1.1.1 分辨率的概念
     图像分辨率是成像系统对输出图像细节分辨能力的一种度量，也是图像中目标细微程度的指标，它表示景物信息的详细程度。对“图像细节”的不同解释就会对图像分辨率有不同的理解，对细节不同侧面的应用又可以得到图像不同侧面的度量（曹聚亮，2004）。因此，图像分辨率可以分为不同的种类，如空间分辨率、时间分辨率、光谱分辨率、辐射分辨率等。
     其中，图像的空间分辨率是指传感器所能分辨的最小的目标大小，或指图像中一个像素点所代表的目标实际范围的大小，它是图像清晰程度的度量；时间分辨率在遥感领域一般指卫星对同一地点进行重复观测的时间间隔，针对视频数据又称为帧率，是指每秒钟时间内获取的图像数目；光谱分辨率指传感器在接收目标辐射的波谱时所能分辨的最小波长间隔。间隔越小、分辨率越高；辐射分辨率也称为亮度分辨率，是传感器接收波谱信号时能够分辨的最小辐射度差，在图像中表现为图像的灰度级，所以有时称为灰度级分辨率。
     在本书中，我们主要讨论的是图像的空间分辨率，超分辨率重建也是相对图像空间分辨率而言的。因此，在后面各章节中，如果不加说明，分辨率即指的是图像的空间分辨率。
     为了加深对图像分辨率概念的理解，我们对两个易于混淆的概念，即分辨率和像素数量（图像尺寸），进行对比介绍。在数码相机市场上，1000 万像素的相机明显比500万像素的相机贵，主要原因就是其获取图像的空间分辨率较高。但是，分辨率和像素数量是否一定成正比关系呢？一般来讲，图像的分辨率越高，单位长度内的像素数目越多，从而表达同一场景的像素数目也就越多；但反过来讲，图像像素数量越多，并不一定表示图像的分辨率越高。两幅图像具有相同的分辨率意味两幅图像包含的有用特征相同（Lin and Shum，2004），从这个意义上来讲，图像的分辨率不能仅仅通过图像中的像素数目来衡量。同样，在遥感领域习惯用一个像素对应的地面范围大小表达图像空间分辨率的高低，也是不严格的，其仅指的是地面分辨率。
     如图1-1（a）所示的南京一处郊区的SPOT5 全色图像，图像尺寸为256 × 256；对该图像以因子2 进行降采样，得到的图像如图1-1（b）所示，很明显，降采样后的图像尺寸为128 ×128，分辨图像细节的能力减小了一半；对降采样图像分别以因子2 进行双线性内插和双三次内插，内插结果分别显示于图1-1（c）和（d）中，虽然内插图像的尺寸为256× 256，但与降采样图像相比分辨有用细节特征的能力并未增加，因此其实际的空间分辨率并未提高，仍低于图1-1（a）。通过以上对比分析可以看出，决定图像分辨率的因素是其对图像细节的分辨能力。欲提高图像的分辨率，须通过处理增加图像中有用的细节特征。
     1.1.2 图像分辨率提高的硬件限制
     图像传感器是图像观测系统中最核心的部件之一，数字相机就是采用图像传感器来形成图像的模拟电流信号，经模拟-数码转换处理后再进行记录形成图像。因此，图像传感器的质量是决定图像质量的关键因素。现今主流的图像传感器为CCD（charge coupled device）传感器，其他图像传感器如CMOS（complement metal oxide semiconductor）也日益增多。
     常规情况下，人们主要通过改进高精度的CCD 或CMOS 传感器等硬件设备来获取高分辨率的图像，即所谓的“硬件途径”。其中最直接的方法就是通过改进传感器制作工艺减小感光单元尺寸，以增加图像的像素数。随着技术的不断改进，感光单元的尺寸越来越小，而随着感光单元的逐渐变小，获取的图像受散粒噪声的影响则越来越大，如果无限制地减小感光单元的大小，所获取的图像像素数量虽然增加了，但噪声的影响限制了图像实际分辨率的提高。CCD 传感器感光单元的最优尺寸为40μm2，目前的传感器技术已经几乎达到了这一水平。另一种提高图像分辨率的“硬件途径”是增加芯片尺寸的大小，但是随着芯片尺寸的增加，电容量也会增加，致使电荷的转换率减慢，进而导致图像中的点光源变模糊（Chaudhuri and Joshi， 2005），因此该方法也有非常大的限制（Park et al， 2003）。
     此外，高空间分辨率图像的获取还存在其他多方面的限制。首先，高精度的硬件设备往往价格昂贵，出于经济性方面的考虑，人们也不得不选择较低分辨率的相机或图像数据。其次，传感器设计的尖端技术往往掌握在少数几个发达国家手中，大部分发展中国家包括中国在传感器设计方面的技术还相对落后。例如，在卫星遥感对地观测领域，我国遥感卫星获取的图像在空间分辨率指标上与西方发达国家有较大差距。再次，成像系统的空间分辨率与时间分辨率、光谱分辨率相互制约，为了保证具有较高的时间分辨率或光谱分辨率，往往不得不在空间分辨率指标上进行次优的设计，如为保证在较短时间内获取全月球的覆盖数据，我国“嫦娥一号”CCD 相机和美国“月球勘测轨道器”的宽角相机，其空间分辨率分别只有120m 和100m，显然无法进行对月表的细微表达与精细解译。
     综合以上原因，通过“硬件途径”提高图像的空间分辨率存在诸多方面的限制，从而催生了本书阐述的内容――超分辨率重建技术。超分辨率重建是从“软件途径”，通过发展理论、算法来提高图像的空间分辨率，已成为图像处理领域最为活跃的研究方向之一。
     1.2 图像超分辨率重建的概念、原理与应用
     不同的学者对图像超分辨率重建的定义不尽相同，较为通用的定义为：图像超分辨率重建是通过对多幅具有互补信息的低分辨率图像进行处理，重建一幅或多幅高分辨率图像的技术。近年来，一些学者又将超分辨率重建划分为多幅图像超分辨率重建和单幅图像超分辨率重建，但这里所谓的“单幅图像超分辨率重建”并非仅利用了一幅图像的信息，而是以输入的一幅图像为基础，在图像数据库中寻找有用的互补信息，进行信息的融合从而生成超分辨率图像，因此其仍然是利用了多幅图像的信息。而像单幅图像复原、图像内插等处理，虽然在很多情况下能够大大提升图像的清晰度，但并没有体现“超”的含义，因此不应划入超分辨率重建的范畴。下面将从一个常用的图像观测模型出发，阐述图像超分辨率重建的基本原理。
     1.2.1 图像观测模型
     图像观测模型描述理想图像与观测图像之间的关系。在图像超分辨率重建中，观测图像即一系列的低分辨率图像，理想图像即所求的高分辨率图像。给定一定场景的P幅低分辨率图像，可以认为它们是由一幅高分辨率图像经过一系列的降质过程产生的，降质过程包括几何运动、光学模糊、亚采样以及附加噪声（Park et al.， 2003）。如果用矢量z 表示所求的高分辨率图像，gk表示某一幅低分辨率图像（ k为图像编号），一个常用的图像观测模型为（Elad and Feuer，1997；Park et al.， 2003）整个降质过程可以用图 1-2 来表示，最左边的图像即表示理想高分辨率图像，依次经过旋转运动、模糊、降采样和噪声过程，得到最右边的图像，即为观测图像。
     1.2.2 图像超分辨率重建的原理
     图像的观测模型描述了从理想高分辨率图像到观测图像的正过程，而图像超分辨率重建则是一个逆过程，即利用观测得到的多幅低分辨率图像，重建出理想的高分辨率图像，如图 1-3 所示。实现超分辨率重建的前提是图像之间必须包含着互补信息，而根据互补信息的不同来源方式，超分辨率重建技术又可以分为不同的类别。
     1. 基于运动的超分辨率重建
     1984 年，Tsai 和Huang 首先提出利用多幅具有亚像素位移的欠采样图像进行超分辨率重建的方法（Tsai and Huang，1984），基本原理就是把各图像上由于亚像素位移而存在的互补信息融合到同一幅图像中，达到提高分辨率的目的。例如，在图 1-4中，箭头左边代表四幅具有亚像素位移的3×3的图像，并且，如果把第一幅图像看做参考图像，它们之间的相对位移量分别为（0，0），（0，0.5），（0.5，0），（0.5，0.5）。这时，由于图像之间的位移差正好以半个像素为单位，可以很容易地把这四幅图像融合到同一幅图像中，得到箭头右边的6×6大小的图像。
     上述仅是超分辨率重建的一个最简单的例子，在很多情况下，图像之间的位移量并不一定恰恰以半个像素为单位，而且运动也并不一定为整体平移，也可能为旋转、缩放、扭曲以及局部运动等，但无论如何，只要它们之间存在亚像素的位移，而且位移量为已知或通过运动估计方法可以近似求得，就存在实现超分辨率的可能。如图1-5（a）～（d）所示为成像系统对同一场景的四次不同观测，四幅观测图像之间具有亚像素位移，因而具有相似而不完全相同的信息，将它们叠加在同一平面上，如图1-5（e）所示，可以看出明显提高了对该场景的采样密度，但采用并不规则，超分辨率重建的任务就是将不规则采样数据转化为规则采样数据，即图 1-5（f）。
     如果从观测模型式（1-1）看，此类超分辨率重建所需的互补信息来源于式中的运动矩阵Mk ，我们把此类利用图像之间的亚像素位移来获取互补信息并实现超分辨率的方法称为基于运动的超分辨率重建方法。由于人们非常容易接触到具有相互运动的图像序列（如视频序列、多时相图像等），再加上基于运动的超分辨率重建方法比较直观而且又比较容易实现，所以在国内外的文献中，绝大多数的超分辨率重建方法属于此类方法，它是当前图像超分辨率重建领域中的研究主流，也是本书重点讲述的内容。
     下面给出一个基于运动的超分辨率重建的实例，如图 1-6所示。图像中的景物皆为静止，我们用普通商用数码相机进行拍摄，得到序列图像，并把重建目标锁定在车排号及其附近的区域，采用基于最大后验估计的方法进行重建，可以看出，重建后图像比重建前图像的质量有了较大的改善，空间分辨率得到了较大提高，能更清晰地分辨出图像上的数字和字母。
     2. 基于尺度的超分辨率重建
     基于尺度的超分辨率重建是对不同观测尺度的宽场景、低分辨率图像与小场景、高分辨率图像进行处理，从而得到一幅同时具备宽场景和高分辨率特征图像的技术。例如，目前大多数的数码相机都具备光学变焦功能，如果在对同一目标进行多次拍摄时所选用的焦距不同，获取的图像就会有不同的分辨率和取景范围，
     ……