第1章　绪论
　　数字图像处理(digital image processing， DIP)方法的研究主要源于两个应用领域[1]：通过增强、去噪、复原等改善图像的信息，以便于人们更好地对图像进行解读；通过图像的存储、传输、表征等处理，助力机器的自主感知(autonomous perception)。本章的内容包括：DIP的概念、内容、历史、应用实例、一些工具及一些动态。
　　1.1 数字图像处理的概念
　　图像是广义的概念，它可以对应于日常的可见光照片，也可以对应于医用的X射线图片以及由多个X射线图片计算出来的计算机体层成像(computed tomography， CT)图片，还可以对应于由计算机产生的特效镜头。
　　一幅二维图像可以定义为一个二维函数f?(x， y)，其中(x， y)是图像空间坐标，f?(x， y)则表示在(x， y)处的图像强度或灰度。当x、y、f?(x， y)的取值都为离散的数值时，该图像就称为数字图像。数字图像的概念很容易拓展到三维及更高维。具体地，三维图像又叫做体图像f?(x， y， z)，它取离散值，定义在离散的三维图像空间(x， y， z)，表示在(x， y， z)处的图像强度或灰度。数字图像空间由离散的点组成，每个二维的点叫做像素，三维的点叫做体素。
　　DIP又称为计算机图像处理，它是通过计算机对数字图像进行去除噪声、增强、复原、压缩、分割、提取特征、配准等处理的方法和技术。
　　DIP可以分为三个层次，即低级、中级、高级。低级DIP的特点是对图像的内容进行加工以改善图像的视觉效果或突出有用或感兴趣区，或通过编码减少对其所需存储空间、传输时间或传输带宽的要求，主要包括图像去噪、复原、增强、锐化、编码、压缩、数学形态学处理；中级DIP的特点是把图像变成感兴趣区(region of interest， ROI)以及对ROI的描述，主要包括数字图像分割，由于图像配准在一定的条件下可以实现与图像分割的相互转化(借助于图谱)，本书也把数字图像配准纳入中级数字图像处理；高级DIP则专注于对场景或整个图像的解释与理解。本书主要涵盖数字图像处理与分析，即低级与中级DIP，仅在深度学习图像分割与彩色图像处理中涉及图像识别。
　　与DIP紧密相关的概念有数字图像理解、计算机视觉。数字图像理解是DIP的高级阶段，从数字图像中提取有用的信息以形成对场景或整个图像的解释与理解。计算机视觉是一门交叉学科，涉及数学、物理学、成像技术、信号处理、神经生物学、自动控制、人工智能等，使用计算机及相关成像设备实现对生物视觉的一种模拟，主要任务是通过对获取的图像及视频进行处理以获得相应场景的三维信息，以实现自动视觉理解；因此，DIP与计算机视觉是高度重叠的，DIP可以看做是计算机视觉的一部分，DIP不研究计算机视觉所特有的生物视觉、视觉感知方面的内容。
　　1.2 数字图像处理的历史
　　DIP*早的应用之一是报纸业，1921年通过Bartlane电缆图片传输系统传输了5个灰度级的图像(图1.1(a))，该类图像在1929年其灰度级增加到了15(图1.1(b))[2]。
　　图1.1 *早期的数字图像
　　(a)1921年产生的数字图像5个灰度级；(b)1929年产生的数字图像15个灰度级
　　因为DIP依赖于计算机的存储与计算能力，所以DIP的历史与发展与计算机的历史与发展息息相关。DIP的基本技术起源于20世纪60年代的贝尔实验室[3]。**台能够执行有意义的DIP任务的计算机出现在20世纪60年代中期。DIP技术的诞生可追溯到这一时期计算机的使用和空间项目的开发，促使人们探索DIP的潜能。有代表性的成果是1964年7月31日美国探月项目通过“徘徊者7号”(Ranger 7)卫星传送的人类**张月球图片[4]，由于DIP的迅速发展，该图像的质量得以提升(包括几何校正与图像复原)，此技术也在阿波罗载人登月飞行及空间探测器中得到应用。在空间应用的同时，DIP技术在20世纪60年代末和70年代初开始应用于医学图像、地球遥感监测和天文学等领域。DIP进入医学影像的标志性成果是20世纪70年代的X射线计算机断层成像的发明[5]，借助于计算机从多个角度的二维X射线图像重建出具有三维信息的断层图像。DIP历史进程中的另一个标志性事件是马尔(Marr)在20世纪80年代提出的视觉计算理论[6]，该理论标志计算机视觉已经成为一门学科。马尔视觉计算理论的主要观点如下：
　　**，人类视觉的主要功能是复原三维场景的可见几何表面，这点被证明不正确。
　　第二，从二维图像到三维几何结构的复原过程是可以通过计算完成的，涉及三个层次：①计算理论层次，即需要使用何种类型的约束来完成这一过程；②表达和算法层次，即如何计算，包括三个步骤，即初始略图sketch(零交叉、短线段、端点等基元)、物体的2.5维描述即表面描述(如表面法向量)、物体三维描述即物体自身坐标系下的描述；③实现层次，涉及计算机硬件和软件。
　　该理论提出的层次化三维重建框架，至今仍旧是计算机视觉领域的主流方法。尽管文献中一些学者对马尔理论提出了质疑、批评和改进，但就目前的研究现状来看，还没有任何一种理论可以取代马尔理论或与其相提并论。
　　DIP的蓬勃发展的原动力来自于其更广泛的成功应用，包括：增强对比度或将亮度编码为彩色，以便于解读X射线和用于工业、医学及生物科学等领域的图像；地理学用类似的技术从航空和卫星图像中研究污染模式；图像增强与复原用于处理不可修复、或造价昂贵、或不可复制的图像；在考古学领域使用DIP成功地复原了模糊的图片，这些图片是已丢失或损坏的稀有物品的唯一的记录；在物理学和相关领域，DIP增强高能等离子和电子显微镜等领域的实验图像；DIP成功地用于机器感知(如车牌识别、指纹识别、人脸识别、病灶检测、计算机辅助诊断、视觉伺服)等，成功地在天文学、生物学、核医学、法律实施、国防及工业等领域得到了广泛应用，极大地拓展了人类的自动感知及与环境交互的能力。
　　从数学工具方面来看DIP的发展历史：20世纪60年代开始主要是矩阵的运算，到了70年代开始逐步有概率论工具对灰度直方图建模，其后随着模糊数学对类属的灰度进行表征、图像信息的描述、数学优化方法的引入，使得DIP有了坚实的理论基础。标志性成果是优化方法在DIP中的应用，包括基于*小分类误差的灰度阈值计算、坎尼(Canny)边缘算子、主动轮廓模型、偏微分方程用于图像复原与配准、李群代数用于拓扑保持的形变配准、马尔可夫随机场及条件随机场用于图像分割等。
　　从计算机方面来看DIP的发展历史：从早先基于中央处理单元的个人电子计算机、工作站，到基于图形处理单元的工作站，再到现在Google研发的基于张量处理单元的专用设备，极大地提高了DIP能处理的图像的大小、复杂程度及性能。
　　1.3 数字图像处理的应用实例
　　今天，几乎不存在与DIP无关的技术领域，这里只介绍DIP应用领域的一小部分。阐述DIP应用范围的*简单的一种方法是根据信息源来分类。*主要的图像源是电磁波谱(图1.2)，其他图像源还包括声波、超声波和电子束；此外，图像可以是合成的，包括由建模和可视化应用中产生的数字图像。
　　图1.2 电磁波谱的波长及频率
　　伽马射线成像的主要用途包括核医学和天文观察。核医学成像是将放射性同位素注射到被试个体内的成像方式，注入的放射性同位素衰变时发射伽马射线，被伽马射线检测器检测而产生图像，一种成像方式就是正电子发射体层成像(positron emission tomography， PET)可用作分子成像检测早期的癌变，图1.3显示了一个患者的基线及治疗7天后的PET切片。
　　图1.3 一个患者的基线(a)及治疗7天后(b)的正电子发射体层成像
　　(a)箭头(基线上)处的转移性肿瘤(黑色区域)在7天后消失；(b)从上到下的三个黑色区域分别对应于心脏、肾脏与膀胱
　　X射线是*早用于成像的电磁辐射源之一，其应用始于1895年11月8日的德国科学家伦琴发现X射线并获得*届诺贝尔物理学奖(1901年)。X射线成像的基本原理是X射线穿过成像物体后的能量会衰减，成像反映的是成像路径上X射线衰减系数的积分，*常见的X射线应用是医学诊断，如用于肺部疾病筛查的X射线胸片(图1.4)，以及由多个角度的二维X射线图像经过重建得到空间每个位置的X射线衰减系数的CT图像。X射线成像还广泛应用于工业检测如安检(图1.5)、集成电路的缺陷检测等。
　　图1.4 用于肺部疾病筛查的X射线胸片及增强
　　(a)由现代X射线机直接拍摄出的正片，灰度范围大，难以同时显示肌肉与骨骼；(b)对应的由DIP增强后的现代数字X射线胸片，可不失真地同时显示相关组织的信息
　　图1.5 用于安全检查的X射线图像
　　上下图分别对应于同一包裹的低能及高能的安检图像
　　紫外波段成像的形式有两种，即紫外线的反射成像和由紫外线诱导的荧光成像。在反射紫外成像应用中，用紫外光照射物体，并使用紫外光敏感的单色或彩色相机捕获图像，典型的应用包括缺陷检测。在紫外-荧光成像中，用紫外光照射物体表面，激发照射物体发射荧光，由探测器捕获荧光并成像，典型的应用包括荧光显微镜：它以紫外线为光源，照射被检物体使其发出荧光，然后在显微镜下观察物体的形状及位置。
　　可见光波段成像与日常生活紧密相关，机动车车牌自动拍照与识别、手机拍照照片质量的不断提升都是DIP成功应用的范例并改善了人类的生活。图1.6显示的是原始的阴天图像及其复原效果。
　　图1.6 可见光阴天图像(a)及其复原效果(b)
　　红外波段成像在医疗、半导体、电子、农业等诸多领域都获得成功应用。随着半导体芯片的快速发展，电路板上电子元器件的集成度越来越高，电路越来越复杂，出现故障后传统的接触式诊断需要大量的时间和精力，红外波段成像通过非接触方式可以反映被测目标物体各部分红外辐射的热像分布，实现电路板检测等的无损探伤。图1.7显示了一个印刷电路板在未工作及故障状态的红外图像。
　　图1.7 电路板的红外图像帮助实现在线无损的故障检测
　　(a)电路板未工作，整体温度比较均匀(16℃左右)；(b)故障状态，有两颗芯片的温度已超过83℃
　　微波波段成像的典型应用是雷达成像，其*特之处是，在任何空间范围、任何时间、任何气候、任何环境光下都可以实现成像。在很多情况下，雷达是探测地球表面不可接近地区的唯一方法。
　　无线电波成像主要应用于医学和天文学。在医学应用领域，无线电波被用于磁共振成像(magnetic resonance imaging， MRI)：该技术把待成像的个体放在主磁场中并使射频短脉冲通过个体的身体，得到个体组织的射频响应脉冲信号，信号的位置和强度由重建计算，从而得到成像个体的横截面图像，具有良好的软组织分辨能力。原始的MRI扫描时间较长，对于快速运动的器官或组织容易导致运动伪影，后续发展了基于DIP的多种快速成像方法以去除伪影[7，8]。如图1.8所示，(a)图左侧为心脏常规成像，呈现出图像模糊和伪影(红色箭头)，右侧为加速成像后的高质量图像，消除了伪影；(b)图左侧表示动态直肠常规方法成像，有细节缺失和模糊(局部放大图中的红色箭头)，右侧为加速成像后的高质量图像，细节得以恢复。因此利用DIP(图像复原)能够在加速成像的同时更加清晰地恢复原始图像。