[发明专利]一种基于深度学习的多视角立体视觉三维场景重建方法

说明书

本发明涉及一种基于深度学习的多视角立体视觉三维场景重建方法，现有的基于深度学习的重建方法，通过提取图像最后一层的特征以生成3D代价体，没有很好地利用浅层特征，这将丢失不同尺度的信息。而且，这些方法在深度图细化时，只考虑了参考图像本身对深度细化的效果，忽略了相邻图像的深度对深度图预测的贡献。为了解决上述问题，我们提出了多尺度特征提取与融合网络以及基于帧间相关性的深度图细化网络，来提升场景的预测精度和完整性。与现有的基于深度学习的方法相比，我们的方法能够更好地学习输入图像的上下文特征，重建出目标场景被遮挡和缺失的区域，能够更完整地恢复场景的三维信息，实现高精度的三维场景重建。

技术领域

本发明属于计算机视觉和三维重建领域，研究了一种新的三维重建方法。

背景技术

高精度的三维场景重建对于许多应用至关重要，如城市三维地图、古迹复现、自动驾驶和增强现实等。基于多视角立体视觉的三维重建方法也是计算机视觉的核心研究问题之一。传统的多视角立体匹配重建方法使用主观设计的相似性度量和工程化的正则化(例如归一化互相关和半全局匹配)来计算稠密对应并恢复3D点。虽然这些方法在理想的Lambertian(朗伯)情形下显示出了很好的重建效果，但它们也有一些共同的局限性。例如，场景的低纹理、高光和镜面反射区域等问题的存在使密集匹配变得难以处理，从而导致重建结果不完整。这些缺陷导致传统方法的重建结果质量较低，难以满足实践应用需求，因此，基于视觉的高精度三维重建研究仍面临很多具有挑战性的问题。

近年来，深度学习的快速发展和大量多视角立体匹配数据集的发布，为高精度三维重建方法带来了新思路。目前较为多见的基于深度学习的方法是利用深度图融合，从多视角图像进行三维重建。该方法的基本结构是首先通过深度估计网络生成每一幅图像所对应的深度图，然后再使用传统的深度图融合算法将所有的单幅深度图融合成一个完整的场景点云。基于深度图的学习方法的一个重要步骤是构造一个像素级匹配的置信度或代价卷。其基本思想是先将深度空间进行离散化，即均匀采样多个深度平面，从输入图像集合中选取一幅图像作为参考图像，根据平面扫描算法建立一个平面扫描体素，然后计算在每个采样深度假设下，参考图像中的每个像素与其他相邻图像中对应像素的匹配代价来构建3D代价卷，最后通过CNNs来推断参考图像的深度图。其优点是基于代价卷的方法迫使网络通过立体匹配来学习深度估计，而不只是学习单一的视图线索，有利于泛化。然而，现有的基于深度学习的多视角深度估计方法也存在一些问题：首先，从概念上讲，通过提取图像最后一层的特征以生成3D代价卷，没有很好的利用浅层特征，这将丢失不同尺度的信息以供进一步处理。其次，这些方法在深度图细化时，只考虑了参考图像本身对深度细化的效果，忽略了相邻图像的深度对深度图预测的贡献。

发明内容

为了解决上述这些问题，本发明提出了一种基于深度学习的多视角立体视觉三维场景重建方法，实现多视角图像的三维重建。与现有的基于学习的三维重建方法相比，该方法能够学习到不同尺度的特征，增强基于不同区域的不同信息间上下文信息的聚合，有利于神经网络提取更具有表现力的特征，此外，通过使用帧间相关性度量，能够进一步细化网络预测的初始深度图。

为了能够提高三维重建的精度与质量，本发明提通过多尺度特征提取与融合以及帧间相关性，提升场景的预测精度和完整性。为此，需要解决的关键技术问题包括：利用深度神经网络进行高性能多尺度特征的提取与融合、避免人工设计的多环节误差积累；多视点深度信息融合优化，通过多视点获取的同一场景的图像，一般具有相近的深度，利用相邻图像的深度信息来细化预测的初始深度图。