《基于深度学习的图像处理》主要介绍作者近年来在深度学习与图像处理等方面的研究成果，包括图像去模糊、视频信息缺失补全、图像分类识别、图像领域自适应、多源跨域图像迁移学习相关理论和方法，用到的模型主要包括多尺度编解码深度卷积神经网络、多尺度特征金字塔网络、双判别器生成对抗网络、渐进增长生成对抗网络、贝叶斯正则化深度卷积神经网络、深度对抗域自适应网络、深度加权子域自适应网络等。
第1章 图像去模糊方法
图像去模糊的*终目的是复原出具有边缘结构和细节的清晰图像。传统的图像去模糊*先假设原始图像的先验知识和模糊核，然后通过各种数学模型估计*优的模糊核，*终根据模糊机理逆运算估计得出原始图像。然而，这些方法通常存在复杂度高、计算量大且复原结果不佳等问题。
本章提出一种多尺度编解码深度卷积神经网络结构。*先，使用循环多尺度编解码网络作为生成器模块，在编解码器内部的普通残差块和多尺度残差块基础上构建一种自适应多尺度残差块(adaptive multi-scale residual block，AMSRB)，不但可以减少网络参数量，而且可以提升网络的非线性映射能力。然后，在编解码网络中采用跳跃连接的方式，为复原结果提供更加丰富的细节信息。*后，通过计算每层网络对应的L2损失，确保去模糊后的图像更加真实。通过在数据集上实验，验证该方法可以高质量地对模糊图像进行复原。
同时，考虑到图像从模糊到清晰是一个信息量递增且需要逐步优化的过程，本章进一步提出一种多尺度和多特征融合的特征金字塔网络进行图像去模糊。生成器部分基于特征金字塔网络，先进行特征提取再进行上采样，*终进行特征融合，从而充分提取图像的有效特征。损失函数部分个性化引入多尺度结构相似性损失，进一步提升图像去模糊能力。实验结果表明，采用该方法处理后的图像在多项评价指标上都高于近些年的主流方法，能够较好地复原出细节和纹理清晰的优质图像。
1.1 多尺度编解码深度卷积神经网络图像去模糊
1.1.1 图像特征提取模块
1. 残差模块
随着网络深度的加深，在提高去模糊性能的同时也增加了一些挑战，如增加训练难度、弱化优化器对网络的优化性能等。残差通常指实际观察值与估计值之间的差值。相比于传统的卷积模块，残差模块Resblock[1]的主要贡献在于快捷连接和恒等映射，使原始输入信息可以直接传输到后面的层中。进行图像特征提取时，在网络不增加多余的参数和计算量情况下，网络深度越深，残差模块表达性能越好。残差网络结构如图1-1所示。
图1-1 残差网络结构图
残差模块的输出和残差函数可以表示为
(1-1)
(1-2)
通过式(1-1)和式(1-2)，可以有效求解浅层到深层学习的特征。其中，x为残差模块的输入；F(x)为残差模块学习的残差函数；H(x)为残差模块的输出。当F(x)=0时，H(x)=x即恒等映射。残差模块一般选用5×5的卷积核，输出结果部分去掉修正线性单元(rectified linear unit，ReLU)激活函数。残差模块Resblock结构示意图如图1-2所示。
图1-2 残差模块Resblock结构图
2. 多尺度残差模块
传统卷积神经网络使用单一的卷积核进行特征提取，获取的图像信息往往不够充分。为了在不增加深度的情况下，提取更多有效的特征信息。Li等[2]提出一种多尺度残差块 (multi-scale residual block，MSRB)。为了充分利用图像的特征，*先分别使用3×3和5×5不同大小的卷积核对不同尺度下的图像特征进行提取。然后将多尺度特征进行相互拼接，实现共享和重复使用。*后使用1×1的卷积核来消除输出特征包含的大量冗余信息，有效减少计算的复杂度。MSRB整体结构图如图1-3所示。这种多尺度的残差模块使用不同大小的卷积核意味着获得不同大小的感受野。不同尺度的信息融合有利于全局和局部特征信息的共同捕捉，可以恢复出质量更高的图像。
图1-3 MSRB整体结构图
当n =1时，输入*先经过M0分成上下两个分支，上边和下边分别是3×3和5×5的卷积核。然后将两部分的输出串接在一起，作为后部分网络的输入，此时特征图的通道数增加两倍。重复上述操作，得到的通道数是*初的4倍，但是使用残差的思想必须保持输入的输出通道数相同。因此，网络在后端使用1×1的卷积核起到压缩特征通道数的作用，该层的输出与学习得到的残差进行相加，*后得到网络的输出M1，具体计算过程为
其中，Si和Pi为第i层卷积后的输出(i= 1， 2)；代表激活函数；和分别为网络的权重和方差(j= 1， 3， 5)，不同的下标对应不同大小的卷积核，上标表示权重所在的层数；Mn.1和Mn分别为网络的输入和输出；局部残差学习使得深度网络训练变得简单且有利于图像的复原。
3. 优化多尺度残差模块
多尺度残差模块以多尺度特征提取为指导思想，加入两个特征连接操作来共享和重复使用特征信息。然而，上下分支经过两层 3×3和 5×5的卷积核后，通道数会成倍递增，造成参数过多、计算相对复杂等一系列问题。
本节提出 AMSRB网络结构，如图1-4所示。该结构前半段共包含三个 1×1卷积核，**个1×1卷积核加在网络*前端，主要用来增加网络深度。中间两个1×1卷积核代替特征拼接操作，进行特征融合，减少网络参数量。另外，AMSRB将一个5×5的卷积核用两个3×3卷积核代替。这种调整几乎不改变感受野，但可以有效减少计算量，提升网络的非线性表达能力，且在增加网络深度的同时使网络对多尺度输入具有更强的适应性。由于第二层、第四层分别具有多个相同模块，因此用mn和bmn表示所处第m层第n个模块的权重和方差。
图1-4 AMSRB网络结构
具体计算公式为
1.1.2 网络结构模型
1. 多尺度编解码整体网络结构
多尺度编解码深度卷积神经网络整体结构(图1-5)由三层全卷积子网络组成的生成器和判别器两部分组合而成。每一级分别由编码器和解码器[3]两部分组成。从较小尺度开始逐步细化输出，网络的输入B3、B2和B1分别为64×64像素、128×128像素、256×256像素的模糊图像。每层的输出I3、I2和I1分辨率分别对应64×64像素、128×128像素、256×256像素。训练过程中，上一层网络的输出进行2倍上采样和下层分辨率相同的模糊图像共同作为后续网络的输入，在不同尺度上的详细定义可以表示为
(1-5)
其中，i表示不同的网络尺度；i.1表示精尺度；i.2表示中间尺度；i.3表示粗尺度；Bi和Ii分别表示第i尺度输入的模糊图像和复原结果；NetMS表示多尺度编解码网络；MS表示训练的参数；hi表示隐含层状态特征，用来获得高层图像结构和内部信息；↑表示从第i尺度调整到第i.1尺度的算子。
图1-5 多尺度编解码深度卷积神经网络结构图
多尺度编解码器经过三级网络结构生成的复原图像I1送到判别器进行整体真假判断。判别结果通过反向调参反馈给生成器部分，经过多次针对性训练，使生成器生成质量更高的清晰图像。
2. 多尺度编解码生成器模型
本节采用多尺度编解码作为网络的生成器模块，网络结构如图1-6所示。编解码器由三个编解码模块组成。每个编码模块包括一个卷积层和三个AMSRB。对该部分进行图像特征提取，得到主要的图像内容信息，进而去除模糊。每个解码模块与编码模块一一对应，由三个AMSRB和一个反卷积层组成。这主要用来恢复图像的内容细节信息，使图像复原结果更加真实可靠。由于网络结构相对较深，为了防止梯度消失、梯度爆炸等现象的发生，在编解码网络中每间隔一个特征提取模块，添加一条跳跃连接。该设置在提取特征的同时保留原始图像信息，不仅加速网络的收敛还有助于清晰图像的复原。为了进一步保证模糊图像的去除效果，网络不同尺度之间的连接通常采用深度递归模块予以实现，但在实际设计中，具有很大的灵活性[4]，如长短期记忆(long short-term memory，LSTM)网络[5]和门控递归单元(gated recurrent unit，GRU)[6]也可以用于深度递归模块的构建。本
目录
“信息科学技术学术著作丛书”序
前言
第1章图像去模糊方法1
1.1多尺度编解码深度卷积神经网络图像去模糊1
1.1.1图像特征提取模块1
1.1.2网络结构模型5
1.1.3实验与分析10
1.2多尺度特征金字塔网络图像去模糊16
1.2.1特征金字塔网络原理16
1.2.2网络结构模型17
1.2.3实验与分析22
1.3本章小结25
参考文献26
第2章视频信息缺失补全27
2.1基于双判别器生成对抗网络的视频单帧补全28
2.1.1网络模型28
2.1.2损失函数30
2.1.3实验与分析31
2.2基于渐进增长生成对抗网络的视频多帧补全36
2.2.1网络模型36
2.2.2实验与分析39
2.3本章小结43参考文献43
第3章图像分类识别45
3.1基于卷积神经网络的图像分类识别46
3.1.1卷积神经网络模型和结构设计46
3.1.2实验与分析49
3.2基于贝叶斯正则化深度卷积神经网络的图像分类50
3.2.1深度卷积神经网络的贝叶斯学习方法50
3.2.2实验与分析53
3.3本章小结56
参考文献56
第4章图像领域自适应58
4.1基于深度对抗域自适应网络的图像识别58
4.1.1深度对抗域自适应网络58
4.1.2实验与分析61
4.2基于深度加权子域自适应网络的图像识别63
4.2.1深度加权子域自适应网络63
4.2.2实验与分析66
4.3基于自监督任务*优选择的无监督域自适应68
4.3.1无监督域自适应网络68
4.3.2实验与分析72
4.4本章小结74
参考文献75
第5章多源跨域图像迁移学习76
5.1基于自监督任务的多源无监督域自适应77
5.1.1多源无监督域自适应网络77
5.1.2实验与分析81
5.2序贯式多源域自适应85
5.2.1序贯式多源域自适应方法85
5.2.2实验与分析89
5.3基于相似性度量的多源到多目标域适应93
5.3.1基于相似性度量的多源到多目标域适应方法93
5.3.2实验与分析97
5.4本章小结100
参考文献101
