[发明专利]基于遮挡信息多尺度感知的三维重建方法及装置

说明书

本发明公开了一种基于遮挡信息多尺度感知的三维重建方法及装置，其中，方法包括：通过对待重建场景的多尺度推理逐渐精细化重建模型；参考低分辨率重建模型逐渐完善视角遮挡信息；根据每个三维子体素群的视图对对待重建场景进行表面预测，以得到该三维子体素群的多视角表面预测，并融合多视角表面预测得到该三维子体素群的点云预测，直到所有体素群分辨率中最低体素群分辨率小于等于预设分辨率时完成待重建场景的三维重建。该方法不仅有效降低了计算复杂度，而且有效提升重建得到的三维模型的完整度，简单易实现。

技术领域

本发明涉及可同时运用于密集与稀疏视点下的多视角三维重建技术领域，特别涉及一种基于遮挡信息多尺度感知的三维重建方法及装置。

背景技术

MVS(Multiple View Stereo，多视图立体视觉)旨在从具有已知相机参数的2D图像集中恢复密集的3D模型。随着观测变得稀疏，成像场景的更多3D信息会在记录过程中丢失，从而使之后的算法处理(例如MVS任务)更具挑战性。实际上，稀疏采样对实用性和工业化更为有利，然而目前更多的算法集中在处理在密集采样下的任务，即来自相邻视图的投影射线之间的角度相对较小(大约10度)。尽管目前已经有各种各样的方法来处理稀疏视图情况，但是它们倾向于恢复具有较差泛化能力的特定类型的对象或场景。例如，一些算法通过语义表征或物体形状先验来改善深度图生成。另一类被称为深度图融合的算法，尝试估计每个摄像机视图的深度图并将其融合为3D模型。然而对于稀疏的MVS问题，由于较大的视角角度使这类匹配算法的模型不完整。这是因为较大的视角差显着歪曲了匹配的色块信息并且使光一致性检查变差。此外，随着观察结果变得稀疏，深度图上的2D正则化对于完整的3D模型的帮助较小。这是因为该算法中每个2D视图都是由3D表面上的不均匀采样形成的，并且很难使得多个视角3D表面预测得到统一的图像一致性检测。

为了代替将多个2D信息融合到3D中，SurfaceNet通过直接从3D非投影色体积中学习按体积方向的几何上下文，从而以端对端的方式优化3D几何形状。首先，通过将跟踪的像素射线上的体素着色为相同的像素颜色，将两个视图和的每个图像都投影到体素群C中，从而得到带有摄像机参数进行隐式编码的视图对然后将其馈入一个三维全卷积神经网络预测每个体素是否在表面上，并通过使用交叉熵损失来训练该神经网络。最后，要泛化到多个视图∧＝{v₁,...,v_i,...,v_j,...,v_V}的情况，它仅选择视图对的子集(v_i,v_j)并通过取预测的加权平均值组合在一起。每个视图对的相对权重是通过考虑视图对的图像表征差异和学习得到的。

尽管利用了三维正则化可以避免深度图融合方法中缺点，它仍然具有明显的劣势。由于不了解全局三维结构，单个体素的预测是相互独立的，因此在具有在重复且图案复的几何形状表面会出现大面积噪点和空洞。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于遮挡信息多尺度感知的三维重建方法，该方法仅需很少的视图对即可对待重建区域进行表面预测，大大降低了计算复杂度，并受益于从粗到精的方式，使按体素块进行的遮挡检测更加可行，大大提升重建得到的三维模型的完整度，简单易实现。

本发明的另一个目的在于提出一种基于遮挡信息多尺度感知的三维重建装置。

为达到上述目的，本发明一方面实施例提出了一种基于遮挡信息多尺度感知的三维重建方法，包括以下步骤：通过对待重建场景的多尺度推理逐渐精细化重建模型；参考低分辨率重建模型逐渐完善视角遮挡信息；根据每个三维子体素群的视图对对所述待重建场景进行表面预测，以得到该三维子体素群的多视角表面预测，并融合所述多视角表面预测得到该三维子体素群的点云预测，直到所有体素群分辨率中最低体素群分辨率小于等于预设分辨率时完成所述待重建场景的三维重建。