第1章 绪论
　　1.1 静脉图像修复与增强概述
　　随着互联网技术高速发展，网络信息已成为人们生活中必不可少的一部分，如何在信息化与万物物联快速发展的时代保护人员身份信息安全问题已变得不容忽视。身份认证是目前确保人员信息安全*有效的方法之一。虽然传统的身份认证技术已经成熟，例如密码、ID磁卡，但存在易损坏、易丢失、易伪造等问题，安全等级不高，易对个人或者社会造成重大财产损失。因此，为了有效解决以上问题，生物特征识别技术逐渐走进人们的视野。生物特征主要是指人体生理或者行为特征，将其作为身份识别或者身份认证具有很高的安全性。人体特征用作生物特征识别的信息比较丰富，如基于人体生理可视化特征主要有指纹、掌纹、人脸等，基于人体表内隐藏的人体特征信息主要有静脉信息、虹膜信息等。这些基于人体表面与表内的特征信息要比单纯的简单数字密码更具有优势，主要表现在唯一性、稳定性、永久性和安全性等。
　　生物特征信息识别技术已在各个领域广泛应用，例如我国的身份证、欧盟的生物识别护照、美国的访客系统。据统计，近年来全球生物识别市场规模增长较快，全球生物特征识别技术和应用从2015年的137亿美元上升到2021年的300亿美元。目前国内生物特征识别技术应用规模已突破百亿元。生物识别技术已经应用到多个领域，如指纹识别应用于打卡、手机解锁、密码安全等，人脸识别应用于安全支付、罪犯检测等。而静脉识别随着其活体检测与隐蔽性强的优势，在生物特征识别技术上的应用也逐渐引起关注，静脉识别技术研究也成为热门。在静脉识别与应用方面，国家相关部门提出标准化要求，旨在加快静脉识别系统的推广和应用。静脉识别技术伴随着信息科技与个人信息安全的需求，正迎来其成为流行的生物特征识别之一的发展。在信息安全的高需求、高标准的准则下，静脉识别技术与其他多种生物识别技术交叉融合将是其快速发展的趋势。生物特征识别技术应用广泛，针对多种静脉识别的生物识别技术将会更成熟，生物特征识别技术具有很大的发展潜力，增速稳定，未来基于生物特征识别技术的产品市场前景广阔。
　　近年来，随着人工智能领域的井喷式发展，诸多信息科技公司对生物特征识别技术都加强研发力度。如今生物特征识别技术在移动支付、智能安防等方面的表现大放异彩，市场更是加大对生物特征识别技术的需求。
　　静脉识别相比其他生物特征识别如指纹、虹膜、人脸、语音、掌纹等，具有活体识别、体内特征、非接触检测和安全性高等*特优势，已逐渐应用在高设防、高安全环境下的身份认证。
　　基于静脉的生物特征信息应用，手部多源生物信息使用较为广泛，包括手部静脉、掌纹、指纹等特征信息。然而作为信息的载体之一，图像信息在传输过程中会出现信息丢失、缺损、毁坏等问题。这将大大降低生物特征识别的识别效率，如何建立完善的生物特征识别系统，是对生物特征识别技术广泛应用的一个考验。
　　在这些特征信息应用时，其高质量以及丰富的图像信息是静脉生物特征信息广泛应用的关键，然而静脉生物特征信息采集是根据活体状态进行采集的，静脉信息图像的质量也会受限于人体状态、设备状态、光源污染、传输信息丢失等，出现因各种情况引起的图片质量低下、噪声污染、图像信息大面积缺失等问题。因此，在应用生物特征信息时，丰富完整的图片信息尤为重要。为此，本书着重对手部静脉图像的修复和低曝光静脉图像增强进行研究，结合深度学习进一步研究生物特征信息修复的网络架构。
　　1.2 静脉图像修复研究现状
　　信息技术快速发展，各种信息的载体不断涌现，图像是目前主要信息载体之一。在图像信息作为载体传输时，分享信息的用户会对相应的信息进行预处理，例如，图像采集、提取感兴趣的图像区域、缩减和拉伸图像，这些操作都会造成图像信息的损失，在信息表达其代表的意义时就会产生一系列负面效果。因此，补全与重构这些破损的、缺失的视觉信息已成为计算机视觉领域的热门课题。
　　在图像修复算法中，传统的图像修复算法一直占据主要位置，其修复方式主要是从结构与纹理方面进行的，但由于传统算法在图像修复方面的复杂设定以及较弱的语义信息学习能力，其局限性较大，并没有广泛的适用性。随着深度学习在计算机视觉与图像方面的应用，为图像修复带来技术革新，使得图像缺失修复工作效率得到极大提升。基于深度学习的图像修复算法成为当前热门的研究工作。数字图像修复工作的简要发展如图1-1所示。
　　1.2.1 传统的图像修复方法
　　传统的图像修复方法主要有基于扩散机制的图像修复和基于纹理合成的图像修复。前者是根据图像缺失部分的边缘信息来确定扩散的方向，由已知的图像信息向缺失部分扩散，该方法只是针对小块图像缺失有一定的效果，对于大块图像缺失，尤其是对纹理信息，其表现学习能力严重不足，导致生成的纹理信息丢失严重[1-6]。基于纹理合成的图像修复是根据匹配原则，在已知的信息中寻找较为匹配的信息，来对图像缺失部分进行填充，该方法对纹理部分修复有一定效果，但是其主要应用于特征简单、纹理较为单一的图像。如果对特征信息以及背景复杂的图像进行修复时，针对图像缺失部分的匹配将是一个巨大的工程[7-9]。
　　图1-1 图像修复技术的主要研究方向
　　在图像修复技术发展中，传统的图像修复方法主要是基于人工标注，程序复杂，耗费大量的人力。在缺失图像修复效果上，传统的图像修复方法在图像局部小块缺失时表现较好，但在图像出现大部分缺失时，则表现力不从心，不仅修复难度大、工作繁琐，图像修复易于出现图像坍塌严重的现象。其主要原因是在理解图像的内容方面，传统图像修复方法更趋于机械化，修复时更多关注的是缺失部分与已知信息的关系，而更多的图像信息则无法触及，上下文整体信息更是不能进行学习。随着深度卷积神经网络技术的出现，利用计算机在图像特征学习能力得到极大提升，无须繁琐的人工标注，整个图像信息的学习能力达到全新状态。因此，基于深度学习的图像修复算法成为当前的热门研究工作，其优异的图像修复能力使图像修复工作趋于高效。
　　1.2.2 基于深度学习的图像修复
　　随着深度学习理论与技术架构的不断更新，计算机视觉与图像处理方面的应用与研究得到快速发展[10-13]。目前采用深度学习进行图像缺失的修复，基于深度卷积神经网络和基于深度生成对抗网络的修复技术被广泛提出。前者的网络结构主要是基于自动编解码(auto encoder-decoder)网络，主要结构是由编码网络与解码网络组成[14]，其**算法为上下文编码器(context encoder)[15]，该算法是利用深度卷积神经网络上下文特征信息的有效学习能力与编码-解码的重构能力对缺失图像进行重构与修补，因其缺少有效的约束，图像修复具有一定的效果，而在高级语义信息方面，其修复能力有限则表现不足；另一个**算法是由Google提出的基于循环卷积神经网络的图像修复算法——像素递归神经网络(PixelRNNs)[16]，利用深度卷积神经网络对排列的像素点进行预测，该算法虽然有一定的修复效果，但是在应用方面主要趋于均匀的像素层面，针对缺失部分较大的图像，其修复能力较差。随着生成对抗网络(generative adversarial network，GAN)的提出，尤其是深度卷积生成对抗网络(deep convolution generative adversarial network，DCGAN)的出现，加快了图像修复的高效化发展[17]。基于DCGANs的图像修复模型更是层出不穷，基于生成对抗网络的修复技术在图像生成领域的巨大优势对图像缺失修复的能力得到很好的应用。
　　随着技术不断更新，基于深度卷积神经网络的图像处理任务，提出了较多的交叉应用理论，使得计算机处理图像的性能得到极大提升[12，18-20]。基于图像修复的研究工作，主要包含无监督理解和生成自然图像。其中，基于无监督学习与生成网络的工作在图像修复任务中具有巨大优势。在图像语义修复的相关工作中，卷积神经网络对图像特征信息优异的学习能力使其在图像修复工作中大放异彩，卷积神经网络训练用于ImageNet分类，是基于深度卷积神经网络在特征大规模学习应用的典范[21，22]。深度无监督学习在图像修复中得到广泛应用，使得网络摆脱人工标注而自主学习。*早的无监督学习是基于自动编码器的，自动编码器对图像进行编码与解码，去噪自动编码重建含有噪声的图像等都是典型的无监督学习的应用[23-30]。目前，随着计算机视觉的发展尤其是深度卷积神经网络算法，图像修复方面的研究已经获得诸多成果，图像恢复和生成方面都有很好的表现[15，31-38]。在深度学习修复图像中，图像生成自然图像的生成模型是重要的研究环节[39-41]。在生成对抗网络(GANs)的基础上，诸多改进的卷积体系结构和新的优化超参数被提出，在图像生成方面产生令人惊叹的效果[42]。
　　1.2.3 静脉血管图像修复
　　图像修复虽然已有诸多算法，但静脉图像修复算法主要用于视网膜血管的研究，诸如，基于图搜索算法搜索断开血管段的重连路径[43]；从视网膜血管网络的几何结构中利用自组织特征映射(self-organizing feature mapping， SFOM)神经网络训练代价函数用以评估血管连接可行性[44]；利用流体动力学建模来确定血管间的连通性[45]。
　　手部静脉血管图像残缺的修复研究较少，大多采用基于分形理论的修复方法。此修复方法对多个交叉点同时残缺或者较大区域残缺时就显得困难[46，47]，因此，为了得到完整、质量高的手部静脉图像，生物特征识别需要研究新的修复方法。
　　1.3 静脉图像增强研究现状
　　静脉识别技术应用于各个安全领域，对识别率要求越来越高，这使得静脉识别系统对静脉图像的质量要求也相应提高。低曝光静脉图像主要存在静脉图像背景灰暗的问题，导致图像背景与静脉纹理之间对比度低，静脉的细节纹理基本不可见，这与自然的低曝光图像增强有许多相似之处。因此，本节主要介绍低曝光图像增强和静脉图像增强的研究现状。
　　
　　1.3.1 低曝光图像增强研究现状
　　低曝光图像增强是图像增强的主要方向之一。由于低曝光图像普遍存在对比度低、图像噪声高、图像细节信息缺失等问题，在视觉任务中，低曝光图像的缺陷会严重影响相关系统中算法的处理性能。低曝光图像增强算法分为三类，分别为基于图像直方图的低曝光图像增强、基于Retinex理论的低曝光图像增强以及基于深度学习的低曝光图像增强方法，其中，基于深度学习的低曝光图像增强方法又分为深度学习与光照估计相结合的低曝光图像增强、深度学习相关模型的端到端低曝光图像增强，如图1-2所示。下面分别对这三类低曝光图像增强算法具体阐述。
　　图1-2 低曝光图像增强算法分类
　　1. 基于图像直方图的低曝光图像增强
　　图像直方图(image histogram)用以表示数字图像中亮度的分布，标绘图像中每个亮度值的像素数。
　　对直方图处理使用*多的方法是直方图均衡化(histogram equalization， HE)[48]，其主要思想是使图像像素的概率分布变平并扩展灰度级的动态范围，从而提高图像的整体对比度[49]。目前，基于图像直方图的低曝光图像增强一般是通过限制图像中的曝光值、图像信息熵、对比度值、图像亮度值等某一描述量实现的，具体方法是通过设定不同局部图像的描述量的阈值来裁剪直方图或者自适应均衡直方图，实现图像亮度信息恢复和图像增强的效果。例如，Singh等[50]通过计算曝光阈值将原始的低曝光图像分为不同级别的亮度子图像，并将曝光阈值作为灰度级分布的平均次数来裁剪直方图，提高低曝光图像的对比度。Rani等[51]提出的方法与文献[50]类似，不同之处是将亮度值作为阈值来裁剪低曝光图像的直方图。Tan等[52]使用熵控制的灰度级分配方案处理不均匀照明的图像，通过分配新的输出灰度级范围，增强存在不同曝光区域的不均匀照明图像。