第1章图像处理基础理论
视觉是人类获得客观世界信息的主要途径，人类感知外界信息约有80%来自视觉[1]。受视网膜和视神经系统等机能的限制，人眼视觉在时间、空间、光谱、偏振灵敏度、分辨力等方面均存在局限性。光学成像技术利用各种光学成像仪器，如显微镜、望远镜、计算机断层扫描(computer tomography，CT)、红外热像仪、多/高光谱成像仪、偏振成像仪、三维摄像仪、手机摄像机等，实现光信息的可视化，同时延伸并扩展人眼的视觉感知边界。
一个典型的光学成像系统主要由光源、光学镜头组、光探测器三部分组成。光学镜头将所观测场景目标反/透/散/辐射的光线聚焦在探测器表面，探测器单元和场景之间通过建立一一对应关系来获取图像，光线的强度由光探测器离散采集并经过图像处理器数字化处理后形成计算机可显示的图像。以手机的彩色成像系统为例，光探测器主要由微透镜阵列、滤色片阵列、光敏元件、模数(analog to digital，AD)转换器、控制电路及接口等组成，如图1-1所示。
图1-1光探测器组成
光探测器所采集的信号经图像信号处理器(image signal processor，ISP)得到*终的输出图像，图像信号处理器对光探测器的输出信号进行增益增强、图像去马赛克、图像去噪、白平衡及色彩空间变换、色彩渲染、超分辨重建、色彩映射、图像压缩，*终得到可显示的数字图像。光探测器和图像信号处理器中的图像处理算法构成了典型成像链路，如图1-2所示。光学成像技术延伸并扩展了人眼的视觉感知边界，其以成像分辨率的提高、成像维度(时间、空间、光谱、偏振)的拓展、探测灵敏度的提升作为技术发展目标。单个光学成像系统很难获得时间、空间、光谱、偏振等维度同时具有高分辨率的图像，需要将多个光学成像系统的输出图像进行融合，如红外图像与可见光图像的融合、多光谱图像与高光谱图像的融合、高光谱图像与偏振图像的融合等，使融合的结果具有更高的空间分辨率、光谱分辨率或者偏振分辨率，为后续的特征提取、目标检测和识别提供便利。
图1-2典型成像链路
本书从光学图像处理的基本概念出发，以图像去马赛克、图像去噪、图像超分辨重建及图像融合为例，介绍相关图像处理算法的*新理论和应用进展。
1.1图像的分类
数字图像(以下简称图像)是指用数字成像设备经过采样和数字化得到的一个矩阵，该矩阵中的元素称为像素，像素值为一整数。按照颜色和灰度的多少可以将图像分为三种基本类型：二值图像、灰度图像、RGB彩色图像[2]。
1.二值图像
一幅二值图像对应的矩阵仅由0、1两个值构成，0代表黑色、1代表白色，如图1-3所示。由于每一像素(矩阵中每一元素)取值仅有0、1两种可能，所以计算机中二值图像的数据类型通常为1个二进制位。二值图像通常用于文字、
线条图的光学字符识别(optical character recognition，OCR)和掩模图像的存储。
图1-3二值图像示意图
2.灰度图像
灰度图像矩阵元素的取值范围通常为[0，255]。因此，其数据类型一般为8位无符号整数(int8)，即256灰度图像。0表示纯黑色、255表示纯白色，中间的数字从小到大表示由黑到白的过渡色，如图1-4所示。在某些软件中，灰度图像也可以用双精度数据类型(double)表示，像素的值域为[0，1]，0代表黑色、1代表白色，0到1之间的小数表示不同的灰度等级。二值图像可以看成灰度图像的一个特例。
图1-4灰度图像示意图
4 现代图像处理理论
3.RGB彩色图像
RGB彩色图像分别用红(R)、绿(G)、蓝(B)三原色的组合来表示每个像素的颜色，如图1-5所示。RGB彩色图像每一个像素位置的取值为[R，G，B]向量，由红、绿、蓝三个分量的取值组成。
图1-5RGB彩色图像示意图
1.2图像去马赛克
1.2.1滤色片阵列
一般的光探测器，以互补金属氧化物半导体(complementary metal oxidesemiconductor，CMOS)阵列来感应光的强度，不能区分光的色彩，对应的输出是灰度图像。为获得彩色图像，光探测器需要通过彩色滤色片获取像素点的色彩信息。滤色片阵列是光探测器上方的一层由红、绿、蓝三种滤色片以特定的排布模式组成的阵列，以确保特定的位置只允许特定颜色的光通过，常用的拜耳型滤色片阵列(Bayer color filter array，BayerCFA)，如图1-6所示。
发明于1976年的拜耳型滤色片阵列是目前市场上用途*广的滤色片阵列，拜耳型滤色片阵列中包括一个红色、一个蓝色和两个绿色的滤色片。因为人眼对绿光*为敏感，所以绿色滤色片的数量是红/蓝滤色片数量的2倍。在图1-6所示拜耳型滤色片阵列的结构中，两个绿色滤色片处在对角线位置，和红色、蓝色滤色片形成2×2的矩阵。在每个2×2像素块中，一般有GBRG、BGGR、GRBG和RGGB几种布局。将拜耳型滤色片阵列叠加在光探测器感光点上方，只允许特定颜色的光进入感光点。理论上，光探测器的每个感光点只能采集三原色(R、G、B)中的一种颜色，从而丢弃另外两种颜色信息。因此，光探测器需要通过去马赛克算法估计每个像素点上另外两种缺失颜色光的强度，*后得到该像素点的完整颜色值。除了拜耳型滤色片阵列，光探测器厂家根据特定的应用需求，设计了不同的滤色片阵列，如图1-7所示基于合成色彩成分(青色、品红和黄色)的滤色片阵列、RGBW滤色片阵列、RGBG滤色片阵列等。
图1-6拜耳型滤色片阵列
图1-7不同排布模式滤色片阵列示意图
1.2.2图像去马赛克流程
以常见的拜耳型滤色片阵列为例，由于光探测器每个像素位置只能对红、绿、蓝三种颜色分量中特定的一种颜色分量进行采样。要得到一幅完整的彩色图像，每个像素处需要全部的红、绿和蓝三色分量值。为了获得另外两个缺失的颜色分量，必须根据图像采样点的周围像素估计采样点处缺失的颜色分量值，这个过程称为图像去马赛克。去马赛克算法的结果直接关系到彩色数码相机获取彩色图像质量的好坏，也对后续相机内部其他操作有较大的影响。目前，利用主流去马赛克算法得到的彩色图像，其边缘和纹理等区域仍存在一定的模糊和伪影等问题。因此，进一步研究更高效的图像去马赛克算法，以保证获得质量更高的彩色图像。图像去马赛克算法的研究，仍然具有很高的理论价值和商业价值。拜耳型滤色片阵列去马赛克的常用流程如图1-8所示。
图1-8拜耳型滤色片阵列去马赛克流程图
1.2.3RGB彩色图像去马赛克算法
1.双线性插值法
双线性插值法是一种单通道的*立插值方法，其思想是计算出某一点的未知颜色分量，通过对邻近的相同颜色分量求平均来实现，具体算法如下。
1)对绿色分量已知的像素
它的红色分量和蓝色分量分别由和它相邻的两个红色、蓝色像素的线性插值得到。依据绿色像素所在的行不同，有两种情形，如图1-9所示，一种情形是与之紧邻的水平方向上是红色像素，而垂直方向上是蓝色像素；另一种情形是与之水平紧邻的是蓝色像素，而与之垂直紧邻的是红色像素。
展开
