光学影像三维重建是数字化还原真实世界的重要手段，广泛应用于城市规划设计、虚拟现实、数字孪生等众多领域，长期是摄影测量和计算视觉领域的研究热点。《摄影测量三维重建》系统地论述利用光学影像进行三维表面重建的理论与方法，从立体视觉和明暗恢复形状两个角度出发，重点介绍联合几何与辐射成像模型的三维表面重建、基于影像辐射模型的三维表面优化和顾及结构信息的城市场景三维重建等内容。
第1章 绪论
随着社会信息化的发展，地表三维模型在城市规划和管理中发挥着越来越重要的作用。在众多三维重建方法中，基于光学影像的三维重建方法由于数据获取容易，具有得天*厚的优势，已广泛应用于多个领域。然而，传统的成像模型假设已无法准确地表达地表的成像机制，使得利用光学影像进行三维建模的发展存在技术瓶颈。因此，如何从影像中得到更加准确的三维模型，是当下急需突破的一道难题。本章将主要介绍利用影像进行三维建模的主要技术和国内外研究进展。
1.1 概述
三维重建是摄影测量和计算机视觉的基本问题，它以数字产品的形式重现人工物体、自然表面的形状，在虚拟的计算机世界中创建现实世界的三维副本乃至模拟现实中不存在的三维实体，对包括城市规划设计、数字地球、虚拟博物馆、高精度地图、视觉导航机器人、虚拟现实等在内的众多应用领域而言，它是实现自动化和智能化的必要前提。三维重建的产品需要一定的精确度和逼真度，传统的三维重建依赖有丰富经验的作业员借助CAD 工具进行手工编辑，这需要耗费大量的人力成本，且生产效率十分低下，无法满足大空间范围、高时间频率的重建需求，因此迫切需要进一步提高三维重建技术的自动化水平。
当前，三维重建包括两种主流手段：基于激光点云和基于光学影像。激光技术具有几何量测的准确性和稳定性，但考虑这种高精度设备的高昂价格和扫描的有限范围，大范围、高密度、经常性的重建任务在时间和成本方面不具有明显优势。而影像手段具有数据获取的经济性、便捷性和灵活性，具有其他技术手段无可比拟的优势。此外，借助当前日益进步的高质量摄影相机和高精度相机定向（含位置和姿态）手段（如差分全球定位系统、精密惯性导航系统等），它也能取得相当精确的重建结果。基于这些原因，影像三维重建一直是摄影测量和计算机视觉领域中热点研究的技术方向，可以预见，它将在未来的应用中发挥更加重要的作用。
当前，实现可靠、准确、精细的三维模型重建仍然存在很多挑战。影像密集匹配作为获取地面和物体三维模型的关键技术，已发展出许多成熟的方法，然而这些方法重建出的三维表面往往存在细节缺失甚至错误的情况，其原因主要体现在以下4 个方面。
（1）大面积纹理缺失区域。如航空航天摄影影像中的水域、近景摄影中的单色墙面等，纹理缺失区域一般会导致影像匹配出现不确定性和歧义性。其实，即使对人来说，如果在面对一面毫无纹理的墙面或者水面时，同样也无法正确地感知景深。
（2）视差不连续性问题。在人眼视觉和已有的影像匹配算法中，为了消除影像中不可避免的各种噪声的影响，通常都会引入一项假设：影像中的视差分布通常都是连续（也称为光滑）的，这项假设意味着空间邻近的像素通常会有相似的视差。视差光滑性假设在大多数情况下都是成立的，但是在空间中不同区域的边界上，这个假设经常是不成立的。例如在航空摄影影像中，城市地区建筑物的墙面处视差就是不连续的。如何在影像匹配中正确地使用视差光滑性假设，同时又能够保护视差不连续的边界避免被扭*，长期以来都是一个令人困扰的问题。
（3）遮挡问题。由于摄影成像模型为透视投影，摄影场景中不同的物体或者同一物体的不同部分之间在透视成像时会存在相互遮挡，这就使得并不是影像中的每一个像素都能在邻近影像中找到相对应的像素。一般情况下，遮挡问题在近年新兴的低空多视倾斜摄影和地面的近景摄影中更为常见和普遍。
（4）各种辐射问题。实际的摄影成像过程受到天气和光照条件、物体表面反射属性、摄影角度和距离等因素的影响，因而在影像中会存在各种辐射畸变。例如摄影场景中物体的背光面在影像上通常表现为低亮度、低反差，而光滑的物体表面则经常会出现强烈反光，即使是符合漫反射特性的物体表面在不同影像上也会出现一定的辐射差异。这些辐射差异会给影像匹配带来不利影响。
为解决以上问题，美国科学家Horn 等（1986）提出明暗恢复形状（shape from shading，SfS）技术。该技术通过分析影像成像过程，认为物体表面某点在影像中的亮度为光照条件、物体表面法向量及物体表面反射率等因素的共同作用的结果。据此，对辐射成像过程进行建模，求解物体法向量以获得物体表面的形状信息。明暗恢复形状技术利用成像过程中的辐射信息，能够较好地恢复纹理缺失区域的形状及处理可能存在的辐射差异；而影像匹配考虑成像过程中的几何过程，能够较好地恢复总体的三维形状。因此，明暗恢复形状技术的进一步发展及与影像匹配更深层次的融合，能够在一定程度上解决上述利用影像重建三维信息中的4 个问题。
1.2 国内外研究进展
对于三维重建问题，人们在理论和方法层面进行了大量探索。单以技术手段划分，除了被动式的影像手段，还存在主动式的激光雷达（light detection and ranging，LiDAR）点云、深度相机、微波干涉测量、声呐测量、核磁共振等手段，近年来，甚至还出现了利用Wi-Fi 信号（Holl et al.，2017）、浸入液体（Aberman et al.，2017 ）这些非传统媒介的新颖手段。然而，影像在这些手段中仍处于主流的地位，因为它*符合人类感知环境的视觉原理，相应的理论问题往往能够转化为与人类视觉相对应的过程，进而有针对性地进行数学建模和方法改进。本节将对影像三维重建的主要研究进展做简要的总结。
1.2.1 立体影像密集匹配技术
立体影像匹配的实质为在两张或者多张影像间寻找同名点的过程，即寻找同一地物点在不同影像上的位置。为了达到这一目的，影像相似性的计算、同名点的判断准则及匹配策略十分重要。
影像相似性测度（similarity measure）是指不同影像上对应同名点的相似程度的度量。在理想情况下，同一物方点在不同影像上所对应的点应该具有相似性，这是所有立体影像匹配算法的基本假设。早期的相似性测度：差绝对值和（sum of absolute differences，SAD）与差平方和（sum of squared differences，SSD），即不同影像中两个像点对应色彩向量的差的L1 范数和L2 范数，因其简单的计算方式和较高的计算效率而得到了广泛应用。然而由于成像条件的差异及影像中噪声的存在，基于单点的影像相似性测度计算往往不够鲁棒。因此，基于区域的相似性测度计算方法应运而生（Hirschmüller et al.，2007；Boykov et al.，1998）。该类方法以待计算点为中心，取一定范围（如3×3、5×5）内像素点为对象，按照一定的规则进行计算获得相似性测度。其中，归一化互相关（normalized cross-correlation，NCC）这一相似性测度由于其抗噪声及在灰度变化和几何畸变较小情况下精度较高的特点，应用*为广泛（Zhu et al.，2015；Shen，2013）。但相关系数的计算效率不高，且在纹理缺失或者重复区域，其鲁棒性不够理想。而基于Census 变换的相似性测度（Zabih et al.，1994 ）计算效率较高，其策略为将邻域点与中心点之间像素值的大小关系转换为相应的二进制字符串，以二进制字符串间的汉明距离（Hamming distance）作为相似性测度。基于Census 变换的相似性测度（Zabih et al.，1994 ）能够在一定程度上抵抗噪声等异常值，同时在物体的边缘区域，也能够获得更高的精度，加之其计算复杂度较低，因而得到了广泛的应用（Li et al.，2015；Hirschmüller et al.，2007）。然而仅仅考虑局部范围内影像信息的相似性测度仍然有可能在特定区域失效，如纹理缺失或者重复区域；与此同时，局部范围的选取方式与大小同样对匹配效率和效果有较大影响，如果选取的窗口非常小，例如3×3 或者5×5，那么窗口内部可能没有足够的纹理信息获得稳定的匹配结果，这在大面积纹理缺失区域存在的时候尤为明显；而如果选取的窗口很大，例如31×31，虽然窗口内的纹理信息较为丰富，但是其实质为假设窗口内视差连续（光滑），即假设窗口内部所有像素的视差基本一致，显然这个假设在不连续的地物表面不成立，例如影像中建筑物的边缘处，因此选取大的窗口将会导致不连续区域形状的扭*且计算效率较低。考虑上述因素，近年来出现了自适应大小窗口、自适应支撑权（Yoon et al.，2005）、考虑全局的相似性测度及全局匹配等方法。
自适应大小窗口，顾名思义，就是影像中每一个像素点的窗口在匹配过程中会自动调整。其设计的基本准则为：既要保证窗口内包含足够的纹理信息以获得稳健的匹配结果，同时又要使窗口内不包含地物不连续的区域以避免边界上的形状扭*。Fusiello 等（1997）和Hirschmüller 等（2002 ）均在其匹配策略中使用了自适应窗口调节方法：*先为每个像素点预设一个较大的窗口，然后将其分为若干（一般为3×3）个子窗口，再通过子窗口的取舍使该点处的相似性测度值*大。区别于上述从像方出发的自适应大小窗口匹配方法，Zhang（2005 ）则在物方匹配算法中引入了一种自适应大小窗口的方法。*先用固定大小的窗口获得若干个局部极值作为候选匹配，然后在每一个候选匹配上沿着上下左右4 个方向调整窗口大小以获得*大相关，*后将相关系数值*大的候选匹配作为匹配结果。上述自适应窗口方法都能够在一定程度上解决灰度或视差不连续区域的匹配问题，但是由于其大小调整仅包含上下左右4 个方向，不能完全解决问题。
针对自适应大小窗口的局限性，一种自适应支撑权策略被提了出来，即窗口内每一个像素的权值不相等。权重的大小取决于每个像素与其对应窗口中心像素的视差差异，视差差异越大则权重越小。然而视差是密集匹配的待求量，这种自适应加权和视差求解问题是一个病态问题。为了解决这个问题，通常引入一个假设，即影像上两个像素间的辐射度（灰度或色彩）差异越大，则更容易出现大的视差差异。因此可以用窗口内每个像素与中心像素的辐射差异来代替视差差异并确定权重。自适应支撑权策略可以较好地解决不连续区域的匹配问题，但大大增加了计算量。
与上述基于局部影像窗口的相似性测度不同，基于互信息（mutual information，MI）的相似性测度则利用了整体影像信息。互信息是信息论中的概念，通常用来衡量一个随机变量中包含另一个随机变量中的有用信息量（Cover et al.，2005）。早在1997 年，Viola 和Wells 就将互信息的概念应用于影像相似性测度计算。
单*一种相似性测度往往很难同时在纹理重复和缺失区域中获得好的结果。因此，许多学者将不同的相似性测度一起使用（Zhang et al.，2015），并取得了较好的结果。随着计算机与人工智能的发展，许多基于深度学习的影像相似性测度也被提出（Huang et al.，2017；.bontar et al.，2015）。
上述对影像上每个像素选取合适的局部区域进行匹配的算法通常被称为局部匹配算法，如基于物方面元的单点多片*小二乘算法（江万寿，2004）、基于几何约束的多基线多匹配特征的影像匹配算法（张力等，2008）、基于物方面元的多视立体匹配（patch-based multi-view stereo，PMVS ）算法（Furukawa et al.，2010 ）等。然而从匹配策略上来讲，通过计算局部相似性测度然后利用赢者通吃（winner takes all，WTA ）原则难以获得稳定准确的匹配结果，因为任何一种计算策略都无法完全避免匹配问题本身内在的不确定性。一种常用的解决方案是代价聚合（cost aggregation），即通过聚合一定范围内相似性测度来取代当前点的相似性测度。局部匹配方法效率高且更加灵活，但是缺乏对场景的整体理解，容易陷入局部*优。
考虑全局信息的全局算法通常通过构建能量函数并对其优化求解实现全局*优。能量函数中通常包含数据项（data term ）和平滑项
目录
第1章绪论 1
1.1 概述1
1.2 国内外研究进展 2
1.2.1立体影像密集匹配技术 2
1.2.2明暗恢复形状技术 4
1.2.3明暗恢复形状与立体匹配融合 6 参考文献 8
第2章联合几何与辐射成像模型的三维表面重建12
2.1 几何与辐射整体成像模型 12
2.1.1影像成像机制 12
2.1.2整体成像模型 14
2.1.3整体成像模型框架下的三维表面重建与优化方法15
2.2 多测度半全局影像匹配与三维表面重建 18
2.2.1多测度半全局影像匹配算法 18
2.2.2物体三维表面构建 36
2.3 整体成像模型框架下的三维表面全局优化 42
2.3.1概述 42
2.3.2三维表面全局优化算法原理 43
2.3.3三维表面全局优化算法步骤 54
2.4 实验分析59
2.4.1线阵卫星影像实验 59
2.4.2常规航空影像实验 64
2.4.3近景地面影像实验 69 参考文献 71
第3章基于影像辐射模型的三维表面优化75
3.1 基于单张影像的自然地表优化 75
3.1.1顾及大气的辐射模型 75
3.1.2辐射预处理 76
3.1.3基于欧拉-拉格朗日方程的分布优化算法 78
3.1.4实验与评价 79
3.2 基于多张影像的三维表面优化 87
3.2.1球谐函数表示的朗伯体反射模型 88
3.2.2初始条件计算 89
3.2.3能量函数构建与求解 90
3.2.4实验与评价 93
3.3 顾及镜面反射的三维表面优化 96
3.3.1顾及镜面反射的地物反射模型 97
3.3.2初始三维表面生成 98
3.3.3能量函数构建与求解 99
3.3.4实验与评价 101
3.4 几何与辐射约束的三维表面优化 106
3.4.1成像过程中的几何与辐射信息 106
3.4.2几何信息提取 107
3.4.3能量函数构建与求解 108
3.4.4实验与评价110 参考文献116
第4章顾及结构信息的城市场景三维重建 118
4.1 理论基础 118
4.1.1概述118
4.1.2多视几何成像关系119
4.1.3地物结构信息提取 124
4.1.4块匹配搜索策略 128
4.2 顾及平面信息的多视影像深度图重建 130
4.2.1概述 130
4.2.2深度图重建数学模型 131
4.2.3联合块匹配与置信传播的全局优化 135
4.2.4结果与分析 140
4.3 多结构特征约束的像方三角网三维重建 142
4.3.1概述 142
4.3.2特征约束下的像方三角网构建 144
4.3.3像方三角网三维信息重建 148
4.3.4结果与分析 156
4.4 多张影像三维结构信息融合 157
4.4.1概述 157
4.4.2平面约束的轮廓直线提取 158
4.4.3影像交叉结构提取 160
4.4.4交叉结构引导的结构信息融合 162
4.4.5结果与分析 164 参考文献 166
第5章总结与展望 171
5.1 总结171
5.1.1联合几何与辐射成像模型的三维表面重建171
5.1.2基于影像辐射模型的三维表面优化 172
5.1.3顾及结构信息的城市场景三维重建 173
5.2 展望173
5.2.1基于多视影像大数据的匹配测度挖掘174
5.2.2统一框架下的建筑物与植被三维重建174
