[发明专利]基于协同分割与数据增强的自监督三维重建方法及系统

说明书

本发明提供了一种基于协同分割与数据增强的自监督三维重建方法及系统，方法包括：获取输入数据，根据输入数据获取多视角图像对；通过对多视角图像对进行深度估计处理，获取光度一致性损失；通过对多视角图像对进行协同分割处理，获取语义一致性损失；通过对多视角图像对进行数据增强处理，获取数据增强一致性损失；根据光度一致性损失、语义一致性损失和数据增强一致性损失构建损失函数；根据损失函数构建并训练神经网络模型，基于神经网络模型获取与输入数据对应的三维模型。本发明通过引入语义线索以及嵌入数据增强机制，增强了自监督信号在噪声扰动下的可靠性，提升了自监督算法的精度和性能，且成本低、泛化性高、应用场景广泛。

技术领域

本发明涉及图像处理领域，具体而言，涉及基于协同分割与数据增强的自监督三维重建方法及系统。

背景技术

基于多视图立体视觉(Multi-view stereo,MVS)的三维重建方法旨在通过预先给定的多个视角拍摄的自然图像和相机位置，还原出场景的三维结构。传统的三维重建方法虽然在通用场景下能够有效重建三维模型，但是由于传统的度量方法的局限性，很多时候传统三维重建算法只能重建出一个相对稀疏的点云，损失了相当多的细节。此外，还很容易受到噪声光照等等因素的干扰。

随着深度学习的快速发展，越来越多的研究者开始着手于将其应用在三维重建领域。借助于深度卷积神经网络(Convolutional neural network,CNN)的强大的特征提取能力，这些基于学习的方法将CNN提取的特征图通过单应性映射投影到同一个参考视角上，并构建在若干种深度下这些视角之间的匹配误差体(cost volume,CV)。匹配误差体会预测出在参考视角的深度图。每个视角下的深度图融合在一起便可以重建出整个场景的三维信息。这类基于数据驱动的三维重建方法，例如MVSNet、R-MVSNet、Point-MVSNet，取得了比传统三维重建方法更好的效果。

然而这些方法高度依赖于可用的大规模三维数据集，如果没有足够的有标签样本，便难以取得较好的效果。此外，对于三维重建来说，获取准确的真值样本标签较为困难且成本较高。由此，便衍生了一系列无/自监督的三维重建方法，旨在借助人为设计的自监督信号替代大量昂贵的真值标签来训练深度三维重建网络。

这些自监督方法三维重建流程中的深度估计问题转换为图像重建问题设计自监督信号。网络预测的深度图和多视角图像通过单应性映射投影到同一视角，且基于双线性插值计算像素值可以保证重建图像的可微分性质。随后自监督损失会估计重建图像与原图像的差异，训练网络直至收敛。Unsup_MVS根据视角间匹配特征的相关性排序并滤除了不可靠的自监督信号；MVS²在原始的图像重投影自监督信号的基础之上添加了自适应判断遮挡关系的模型；M³VSNet引入了法向量信息辅助自监督训练，取得了一定的性能提升。尽管目前的无/自监督三维重建技术取得了诸多进展，但是依然与有监督三维重建方法有一定的差距。

综上，尽管现有的无/自监督三维重建方法能取得一定的效果，但是与相同情况下的有监督三维重建的方法相比依然有较大的差距。这也导致无监督三维重建方法不够可靠。

因此，需要一种无/自监督三维重建方法，能够解决上述问题。

发明内容

基于现有技术存在的问题，本发明提供了基于协同分割与数据增强的自监督三维重建方法及系统。具体方案如下：

一种基于协同分割与数据增强的自监督三维重建方法，包括：

图像对获取：获取输入数据，根据所述输入数据获取具有重合区域且视角相似的多视角图像对；

深度估计处理：通过对所述多视角图像对进行深度估计处理，获取光度一致性损失；

协同分割处理：通过对所述多视角图像对进行协同分割处理，获取语义一致性损失；

数据增强处理：通过对所述多视角图像对进行数据增强处理，获取数据增强一致性损失；