1 绪论
1.1 信息保护在图像降质与复原过程中的意义及其研究背景
多彩世界被人类眼睛观察后，经大脑分析记录形成美好的记忆。人类感知世界万物，其中80%以上通过视觉获得。视觉在人类认识、理解世界过程中，起着举足轻重的作用[1]。随着数字存储媒介的发展，数码相机、智能手机等消费类电子设备已经成为新兴图像信息获取的主要来源，图像清晰是保障采集信息可靠有效的重要因素之一。
在数码相机、智能手机普及化的今天，图像信息可以随时随地被采集，每一幅采集的图像都包含着目标的特征。当采集图像能够正确反映目标区域的特征时，图像*理想。当采集图像不清晰或采集图像不能反映当时目标区域具体特征，说明有效信息丢失，此时图像产生了降质。如视频监控图像因白天与夜晚光照不同差异较大，航空、遥感图像易受大气的影响，水下成像受到折射等多径干扰等。因此，当图像产生降质时，有效信息会缺失或错误进而严重影响图像质量，如何保护图像的原始信息是前端图像采集、后端计算机图像处理中亟待解决的问题之一。
1.1.1 图像降质产生的原因
图像降质是图像模糊、失真、噪声等的综合表征，其原因是图像的有效信息缺失和无效信息增加。造成图像降质的原因是多方面的，一般图像都会历经采集、成像、传输、保存等过程，每个部分都有可能造成图像降质[2]。在依靠图像为手段的科学研究与技术开发中，人们要求图像清晰可靠，高度还原场景信息。因此，图像复原对于降质图像中的目标重建具有十分重要的价值。
实际应用中，造成图像降质的原因是多方面的，主要可以分为以下几种。
（1）光学系统自身问题引起图像畸变导致图像降质。这种图像畸变指的是目标物体的几何形状、位姿等与空间中实际场景不一致。这种畸变主要是由于透镜失真造成的，虽然这种失真不会对图像信息造成缺失，但这种畸变是造成图像测量、三维重建等研究中一个重要的误差来源。由于这种畸变无法消除，只能通过采用高质量透镜降低畸变，或者通过摄像机标定确定畸变参数进而恢复。单纯从一幅自然图像来讲，即使有效信息没有缺失，图像中若没有相关特征作为参考标定，畸变参数也很难确定，图像中的有效信息也就无法正确表达。
（2）图像采集设备自身因素造成图像降质。如电路固有噪声在图像显示为图像噪声。这种噪声是由采集设备本身原因添加到图像中的，在实际场景中是不存在的。这种图像噪声*明显的特征是随机性，这种随机性导致图像高频分量增加，对以图像特征为研究目标的图像分析、图像识别工作是一个挑战。
（3）目标与相机在图像采集时产生了相对运动。如目标本身的运动、拍摄场景中的相机抖动等因素都会造成图像模糊。这种模糊从成像机理上讲，目标物体的特征点本应成像在某个像元处，由于相对移动却成像在其他像元处。若大量生成的光生电荷都随相对运动而无法在像元中找到唯一对应点，则运动目标的图像就会产生模糊。
（4）图像在信息传输过程中，对信息进行了数据采样、有损压缩、信号调制技术等过程使有效信息丢失，在后续的复原过程中无法恢复，造成图像降质。
当成像系统采集运动目标中存在降质退化问题时，原始目标信息将无法在图像中保存，图像的应用价值会大大降低。因此，通过深入研究，人们希望尽可能多地保存原始运动目标中的有效信息，并进行有效复原。
1.1.2 运动模糊图像复原的意义与目前存在的问题
运动模糊图像的复原是图像复原中的一个重要分支，它的作用是将降质的运动图像恢复到高质量状态，或者在某种意义上使图像质量得到有效改进。图像复原在基于图像退化模型的基础上，利用有效的先验知识，以恢复原始正确信息，是改善图像质量的一种有效措施。该方法的有效实施将给后续的图像目标识别、图像分析及目标追踪提供高质量的图像。
目前，解决或缓解运动模糊图像问题主要有以下方案。
（1）通过减少相机的曝光时间进而减小相对位移产生量，但减少曝光时间造成光通量小，图像整体变暗，信噪比降低，因此这种方法是以牺牲图像信噪比为代价的；同时为了保证光通量，该方法一般在强光照或者存在外部补光设备辅助的环境下进行，如高东东等[3]设计的智能红外与白光混合发光二极管补光系统，配合抓拍车辆违法图像，但曝光参数需要精确确定，以防止图像饱和或补光不足。
（2）利用高速相机采集图像，数据存储量大增，同时成本大大提高。高速相机一般要求传输速度快、存储数据量大，因此需要配备额外的专用存储电路。为了达到上述效果，不得不减小采集图像空间分辨率，即高速相机无法同时满足采集图像过程的高时间分辨率和高空间分辨率的需求。如冯维等[4]提出的自适应高速动态成像中，利用0.65in（英寸，1in=2.54cm）的数字微镜器件（digital micromirror device，DMD）的帧数可达247fps（frames per second，帧/秒），但只能采集8位灰度图像，故使用高速相机来拍摄快速运动物体的应用范围非常有限。
（3）应用图像复原与重建算法尽量克服图像采集过程中的运动模糊，使图像恢复结果尽可能接近原始图像。图像复原是在图像采集后，利用恰当的图像复原方法恢复重建清晰图像。这些方法大多需要进行迭代算法，如Kupyn等[5]利用深度学习方法在图形处理单元（graphics processing unit， GPU）辅助训练下得到去模糊复原图像。然而，在采集图像时若已经损失了一部分信息，则这部分信息无法用图像后处理的方法恢复。
本书从完整保护目标图像信息的目的出发，从成像与图像后处理两个角度同时考虑去除运动目标模糊的方法；利用预编码形式将曝光过程进行调制，将原有高频信息保护在采集图像中，并在后续图像复原过程中将其解码，获得清晰图像。
1.1.3 编码曝光方法在保护信息中的作用
由于图像模糊过程可以看作一个清晰图像与模糊核的卷积过程，其复原与重建过程则是一个模糊图像与模糊核的“解卷积”过程。由于运动模糊图像的模糊核不可逆，因此有一个微小噪声就会对“解卷积”过程造成很大干扰。Campisi等[6]对上述方法进行了总结，但这类方法只考虑了图像采集后的处理过程，没有考虑在图像采集过程中的信息缺失。由于图像采集时，快门打开的过程在频域中相当于一个低通滤波过程，若运动目标中的高频信息在采集时已经被滤除，在成像过程中没有被保留下来，任何后处理方法都难以恢复。因此上述方法是对采集后图像的复原，当复原方法不理想时，复原图像在原本平滑的区域会产生阶梯状伪边缘，或在边缘区域产生振铃效应。
当目标与相机相对运动时，图像中的边缘、细节特征等高频分量损失严重，造成图像模糊。为了克服图像后处理的局限，希望成像采集中保护更多的高频信息。编码曝光方法就是减少高频信息损失的一种成像方法，该方法是由Raskar和Agrawal为代表的学者于2006年提出，其核心思想是将原有的一次曝光分成若干等间隔时隙，每个时隙是否曝光与预置二进制编码保持一致，而快门将由原来一次曝光中完全打开的状态转变为与二进制编码相对应的多次变化[7]。由于快门按照预设的二进制编码进行开断转换，在频域中相当于将原来的低通滤波过程转变为宽带滤波过程，更多的图像信息在多次曝光中得以保存。若充分减少二进制编码频域中的“零点”，将使编码曝光成像的模糊函数可逆，从而克服普通图像重建中的病态问题。该方法的提出是编码曝光方法研究的开端。
随后以该方法为主，衍生出以像素是否曝光为主的编码曝光方法，为了区分上述控制曝光时间编码序列的方法与控制像素曝光的编码控制方法，将其分别命名为时间编码曝光方法和空间编码曝光方法。而时空编码是结合空间编码和时间编码策略实现像素曝光控制技术，需要采集高动态变化范围内的多帧图像数据或视频信号。
本书以时间编码方式研究为主，故除特指外，所有的研究均基于时间编码曝光技术。
1.2 降质图像复原的国内外相关工作进展
图像去模糊是图像与计算机视觉研究中的一个重要分支。图像复原技术是通过改进图像的质量，以适应人的视觉感官。图像复原的难易程度源于对先验知识的掌握和其他工具辅助测量的利用程度。本节在综述编码曝光成像去模糊的方法之前，*先描述**运动模糊图像复原方法，因为这些方法也可能适合编码曝光方式成像的模糊图像复原；之后，介绍基于编码曝光成像的运动模糊图像与传统运动模糊图像复原之间的差异，总结编码曝光成像的运动模糊图像复原方法。
1.2.1 **运动模糊图像复原方法
**运动模糊图像复原方法主要分为基于被动盲图像复原的图像后处理方法和基于运动参数测量的模糊核估计复原方法。
1. 基于被动盲图像复原的图像后处理方法
利用图像后处理的方法复原图像，其质量高低和难易程度主要体现在对先验知识的掌握程度和正确利用。当退化模型和系统参数设定与实际情况相符时，就可以通过退化模型的先验知识精确地估算模糊核，并以此为依据进行图像复原。
从降质图像复原出清晰图像是一个逆问题。在已知降质模糊核的情况下，利用成像退化模型可以复原清晰图像，这种方法称为非盲图像复原方法，如维纳滤波方法[8]、Richardson-Lucy去卷积方法[9-10]等。然而，当系统退化模型未知时，则只能利用图像的先验特征约束反演过程，这种未知退化函数的图像去模糊方法称为图像盲复原方法。
由于实际工作中，一般图像降质均为未知情形，无法获得模糊核，因此图像盲复原方法更符合实际情况。但该类方法与非盲复原相比，盲复原的方法更复杂、求解则更困难。一般图像复原时，采用由粗到细的多尺度模糊核估计和图像复原的迭代方法。在初始化时，估计图像和模糊核，不断迭代直到得到高分辨率的重建图像，这种方法既提高了参数的稳定性，又避免了局部极小值的出现。同时，借助自然图像的梯度先验信息和能量*小化约束，来降低图像重建的病态性。
目前有三种主流的图像盲复原方法：①*大边际概率估计（maximum marginal probability estimation）方法；②能量*小化（energy minimization）方法；③压缩感知与深度学习（compressive sensing and deep learning）方法。这些方法大多采用图像金字塔形式即“coarse to fine”，经模糊核估计多重图像尺度迭代完成。在初始化时，估计图像和模糊核，并将其估计值应用到下一个层级的估计，以得到高分辨率的图像结果，既提高了参数的稳定性，又避免局部极小值的出现。
1）*大边际概率估计方法
理论上讲，模糊核的估计可以从边际估计中获得，但直接求解含有对未知清晰图像的积分是相当困难的。基于运动模糊中出现的问题，Fergus等[11]利用变分贝叶斯的方法将后验分布近似成清晰图像和模糊核两个相互*立的变量进行计算，使得边际估计有效。
同时，若假设模糊核和更新图像服从高斯分布，这种假设*大化了边缘概率，使模糊核的*优值成为高斯分布的均值，极大地方便了参数估计。基于贝叶斯框架，通过*小化在近似分布和真实后验分布之间的KL散度（Kullback-Leibler divergence）[12]获得*优解，并被Whyte等[13]推广到处理非一致模型下的去图像模糊中。随后，Levin等[14]提出了期望*大化（expectation maximization）的方法估计模糊核，但这种方法运算耗时较大[15-16]。
2）能量*小化方法
能量*小化是另一种解决图像运动模糊里程碑式的技术革新，在清晰图像获取方面取得了巨大成功。在以自然图像先验为应用背景的模糊图像中，交替迭代求解模糊核和清晰图像是一种有效手段[17-19]。在解决模糊图像的盲去模糊过程中，学者发现其去模糊的主要难点在于，当只有模糊图像已知时，可以找到若干组模糊核获得相同解。为了破解此问题，利用能量*小化方法，使之迭代能量降至*小，获得唯一解。这
展开
