第1章绪论
1.1面结构光三维视觉重构的重要意义
随着航空、航天、船舶、汽车和电子产品等先进制造业的发展，零部件加工制造趋向精密化、复杂化，对加工质量的检测与控制提出了越来越高的要求，急需有效的三维测量技术。
目前，三维测量技术主要包括接触式三维测量和非接触式三维测量。基于传统接触式三维测量技术的三坐标测量机可以对工业零部件的关键尺寸进行测量。但对于具有复杂型面的工业零部件，使用三坐标测量机难以获得密集三维数据，无法对加工质量进行全面的评价。
视觉测量技术由于其非接触、高效率等特点，被广泛地应用于工业制造和逆向工程等领域。按照测量过程中是否有光源主动投射到待测物表面，视觉测量可以分为两大类：被动视觉测量和主动视觉测量。被动视觉测量仅使用相机进行图像采集，不需要额外的照明装置进行投射，通过建立被测物与相机间的相对位置关系获取待测物表面的三维信息。根据使用相机的数量可以将被动视觉测量分为单目视觉测量、双目视觉测量和多目视觉测量。对于物体表面光滑、缺乏纹理特征或者无明显灰度、几何变化的情况，被动视觉测量面临失效。
结构光三维重构方法作为主动视觉测量的代表性技术，利用结构光在物体表面形成的明显特征，可以解决被动视觉测量失效难题，提升三维信息的获取精度，其具有量程大、非接触、速度快、精度高、系统柔性好等特点，已经广泛地应用于三维模型重构、物体表面的三维测量及工业环境中尺寸和形位参量检测等领域。结构光三维测量系统主要由光学投射器和相机组成，光学投射器将一定模式的结构光投射于物体表面，在物体表面形成由被测物体表面形状所调制的图形；相机采集由物体表面反射的反射光，根据成像几何关系建立的数学模型解算出被测物体的三维形貌信息。根据光学投射器所投射的结构光种类的不同，可以分为点结构光法、线结构光法和面结构光法。点结构光法测量速度过慢；线结构光法测量数据密度有限，但是可以实时测量，适合于手持式三维扫描系统。
面结构光法一次可以获取全场三维数据，测量效率*高，能够快速地获取全场三维数据，在高精度、复杂零件测量中得到广泛的应用。以条纹投射轮廓术为代表的面结构光法具有全场测量、速度快、精度高、数据密集等特点，因此，其
被国内外重要三维扫描仪厂家所采用，广泛地应用于工业三维检测、数字孪生和工业优化等各个制造环节，已成为装备制造、生物医学、船舶交通、电子信息和文物保护等行业不可或缺的测量技术手段，赋能我国制造业的转型和升级。
1.2面结构光三维视觉重构的基本原理
以条纹投影方法为代表的面结构光三维视觉重构具有非接触、测量效率高和数据点稠密等特点。条纹投影等面结构光三维视觉重构方法的基本原理是由投射器向被测表面投射正弦条纹等结构光，相机拍摄得到被测表面（条纹）图像，通过相位解算等数据处理方法计算出被测表面的（相位）匹配特征，再根据立体匹配和三维重构算法，获取高精度密集三维点云，如图1.1所示。
图1.1基于条纹投影法的三维视觉传感器示意图
条纹投影法按照相位解算原理可以分为傅里叶变换轮廓术和相移法。傅里叶变换轮廓术将光栅图像变换到频率域，通过滤波处理将图像中的高频分量和直流分量滤掉，只保留基频分量，将信号重新变换到时域并计算相位；该方法只需要一幅图像即可计算各点相位值，适合于平滑表面的快速测量，但在处理阶跃表面时，有用信号的频带和背景光信号的频带混叠加大，使用该方法效果变差，此外在处理强反射表面时也会出现频率失真的问题。相移法采集多次相移的光栅图像，通过不同图像的灰度值来计算相位，该方法虽然不能进行实时测量，但其相位解算只与不同条纹图像中同一点的灰度值有关，而与周围像素无关，因此，该方法
可以*大限度地测量出阶跃表面边缘处的三维形貌。
在相移法中，向待成像场景投射如式（1.1）表示的N步相移正弦图案:
（1.1）
式中，为条纹平均亮度；为条纹调制度；为需要解算的相
主值；，为相移次数。对应的解相公式为
（1.2）
在实际应用中，常投射多组不同周期的条纹，通过多频外差法获取解包裹相位。以两级条纹周期为例，设零相位相同的两组条纹，周期为，解相后的相主值分别为和么（x，y），相位展开后相位值分布为和，则可以得到周期为
（1.3）
的条纹，在点处的相主值为
（1.4）
如果计算得到的条纹在一个周期内能够覆盖整个条纹的投射区域，那么其相位展开结果与相主值么（x，y）是相等的，即
（1.5）
那么，的相位展开结果为
（1.6）
为了提高相位展开精度，抑制误差对相位展开的影响，采用改进方法计算：
（1.7）
取整，其值为相位展开所需的周期数。因此，的误差必须满足：
（1.8）
才能够满足相位展开所需的周期数。相移法投射的相移正弦图案、相机拍摄的光栅条纹图像、相位包裹在的相位图和相位展开后的连续相位图分别如图1.2所示。
（a）相移正弦条纹图案
（b）相机拍摄的光栅条纹图像
（c）相位包裹在的相位图
（d）相位展开后的连续相位图
图1.2相位解算过程
1.3复杂光照条件下结构光（投影光栅）三维重构失效
机理分析
现代工业零件，多采用金属+复材的新型材料结构。新型材料结构尺寸大、结构复杂、精度要求高，加工后的零部件，兼有高光/多次反光和半透明的特点，如发动机叶片等复杂高光零部件。这种零部件型面的复杂性与材料的多样性给光学三维测量带来了极大的挑战。物体表面或者场景的反射光可以分为直接光照（direct illumination）光和全局光照（global illumination，GI）光。直接光照是由照明光源直接照射并经过被测表面反射进入相机的，能够直接反映物体表面、相机、照明光源三者之间的几何关系;全局光照是场景中其他点对当前点的照明反射光，能够表现场景中不同物体、不同介质之间的复杂光学相互作用，其中就包括了多次反射、透明/半透明次表面散射、阶跃边缘处上下表面反射等。复杂零部件型面的反射光是直接光照和全局光照的混叠，称为复杂光照。三维结构光重构技术已日趋完善，但在全局光照的干扰下，难以进行有效测量，容易出现测量失效。
基于三角测量原理的结构光三维测量方法有一个重要的前提假设是光线在物体表面只发生一次反射。然而，全局光照的存在会破坏这个假设，从而导致测量误差或数据缺失。因此，在全局光照下，二值图案、相移条纹等传统结构光三维测量方法无法实现完整和高精度的测量。
目前在实际工业应用中，避免全局光照对测量产生影响的一般方法是向物体表面喷涂显影剂，使表面反射特性趋向漫反射，从而消除镜面相互反射与次表面散射的影响。然而在很多应用场景中，被测零件是不允许喷涂显影剂的，如数控加工中的在位测量，生产流水线上的在线测量等；还有些物体因为自身的属性不能喷涂显影剂，如文物、高温物体等；而且显影剂的厚度会导致额外的测量误差，在测量后清洗物体表面的显影剂还会引入额外的工序。因此，如何在不喷涂显影剂的情况下实现复杂型面完整高精度三维测量是工业应用过程中亟须突破的关键技术的瓶颈。
本书主要考虑如下三种不同的全局光照干扰下的三维重构问题。
1）多次反射条件下的直接照明光和间接照明光混叠问题
对于具有强反光的金属材质，物体表面之间由于镜面相互反射（specular interreflection）和光泽相互反射（glossy interreflection）将产生强烈复杂光照。投射器发射的光线在照射到物体后，仅有一部分光被相机所捕获，另一部分光则根据物体表面的双向反射分布函数（bidirectional reflectance distribution function，BRDF）被反射到物体表面的其他区域，经历复杂的多次反光后被相机捕获。这种经历多次反光后才被相机捕获的光携带有与直接照明光完全不同的空间调制信息，从而严重地影响三维测量方法的准确性。
在复杂强反光表面成像与测量中，由于被测表面同时具有强反光特性和复杂的几何形状，易形成不同表面之间的多次反射，测量系统投射出的条纹与复杂表面多次反射形成的间接照明条纹叠加，造成条纹混叠，导致测量失效（图1.3）。
图1.3基于双目视觉的结构光三维测量系统和多次反射仿真效果
在图1.3（a）所示的结构光三维测量系统中，实线代表直接反射光，由投射器出射，照射到物体表面S区域，直接反射到相机中；虚线代表多次照明光，由投
射器出射，照射到物体表面乂区域，反射到B区域，经过二次反射到相机中，造成条纹混叠，参见图1.3（b）。
不失一般性，假设相机像素除了受到直接光照对应相位编码为的条纹：
（1.9）
还受到另一个如式（1.10）所示的相位编码为的条纹的二次反射光干扰
（110）
式中，表示二次反射光照的相位编码与直接光照的相位编码之间的差值。
此时，若投射由式（1.1）生成的正弦条纹图案，相机像素响应表示为直接光与二次反射光的混合：
（111）
式中，表示混合条纹的等效平均亮度；表示混合条纹的等效调制度；令为受二次反光影响的相位值，其具有如下形式：
（1.12）
式中，由式（1.13）定义：
（1.13）
在上述分析中，式（1.13）说明了二次反射光对相移法三维重构的影响。
2）透明/半透明材料的直接照明光和次表面散射光混叠问题半透明性质的复合材料、玻璃、玉石已经广泛地应用于装备制造、手机和高档珠宝等领域，加工后的产品质量分析急需光学成像和三维测量等技术。但由于次表面的间接照明光干扰，图像会出现信噪比过低、模糊等问题，如图1.4（b）所示，无法满足高精度测量的要求。
在图1.4（a）中，q0是从投射器照射到表面，直接反射入相机的直接照明光；q1和q2是从投射器照射到表面，在次表面散射后，到达相机中的间接照明光；相机接收到的c是直接照明光和间接照明光的混叠结果。次表面散射现象类似于模糊核的效果，使得条纹的对比度大大降低，从而产生严重的测量失效。半透明散射光导致测量点云缺失严重，测量失效，参见图1.4（b）。
当存在次表面散射时，相机像素（x，y）除受到形如式（1.9）所对应相位编码必（x，y）的直接光照条纹的影响，还受到投射到表面内部，而在附近区域发射散射的条纹光照的影响，此时若仍然采用式（1.2）解相，得到的相位值有如下的形式：
展开
