[发明专利]一种基于深度学习的三维物体重建算法

说明书

本发明公开了一种基于深度学习的三维物体重建算法，包括：输入多个从任意角度获得的物体二维图像并进行预处理，建立卷积神经网路，将二维图像作为训练数据输入到建立的卷积神经网络中进行训练，将待测的二维图像输入到训练好的卷积神经网络模型中，卷积神经网络模型输出三维重建结果。本发明中，所述的卷积神经网络模型包括编码器、解码器、多视图特征组合模块。其中，编码器的输入为多视角的二维图像，输出为二维特征向量，需将其转换为三维信息；将三维信息输入到解码器中，得到单幅图像的三维预测体素占用；再通过多视图特征组合模块，得到最终的预测体素占用。在测试阶段，根据分层预测策略预测所得的0‑1占用与地面真实占用来计算准确率。

技术领域

本发明属于计算机视觉及深度学习领域，具体涉及一种基于深度学习的三维物体重建算法。

背景技术

近年来，随着三维物体公开数据集的出现，从图像中完整且精确的重建出三维几何结构如今已成为计算机视觉、工业制造等领域的研究热点。例如，5G时代出现的AR与VR，利用三维重建技术让我们切实感受到实时传输的重建效果；工业制造领域，机械手臂的抓取与避障，自动驾驶汽车路径规划及避障等，都是对三维重建技术的充分利用。另外，人们可以从三维模型中得到比二维图像更多的信息。因此，三维物体重建变得愈来愈重要。

另一方面，随着计算机硬件及人工智能技术的发展，使用深度学习工具重建三维模型已成为如今研究的热潮。基于深度学习的三维物体重建可以从的单幅或多幅图像中恢复对象的三维几何结构，而不需要复杂的相机精确校准过程。

目前多数基于深度学习的三维重建算法还存在一些问题：当我们从一个视角看到物体时，因为物体的自遮挡问题，很难推断出它的整体形状结构。对应到二维图像中，单幅图像所包含的信息有限，不可能推断出一个精准完整的三维模型。针对这一问题，研究人员提出利用同一物体不同视角下的多幅图像来重建三维模型，将多幅图像所包含的信息进行综合考虑。

目前基于多视图的三维重建算法是利用LSTM的记忆能力将每幅图像的特征作为LSTM输入，融合其所包含的信息。虽然重建效果随着视图数量的增加在一定程度上可以提升，但这一过程仍存在缺陷。由于LSTM结构的时序性，输入图像的顺序，将会影响最终的重建结果，这明显与设计网络模型的初衷不符。

因此，本发明设计了一种基于深度学习的三维物体重建算法，称之为3DFONet(3DReconstruction from Object Network)网络。基于多视图的三维重建的卷积神经网络从二维图像映射为三维几何结构。3DFONet不需要输入任何物体类别标签、姿态信等附加信息就可以进行训练和测试，且重建结果不会由于输入图像的顺序的改变而改变。

发明内容

本发明提供了一种基于深度学习的三维物体重建算法，本发明不需要输入任何物体类别标签、姿态信等附加信息就可以进行训练和测试，且重建结果不会由于输入图像的顺序的改变而改变。本发明对编码器及解码器结构进行改进，并应用分层预测策略，提高了三维物体重建效果。详见下文描述。

本发明解决其技术问题的解决方案是：

一种基于深度学习的三维物体重建算法，所述三维物体重建算法包括以下步骤：

步骤1输入多个从任意角度获得的物体二维图像；

步骤2建立卷积神经网络模型；

步骤3将步骤1中的二维图像作为训练数据，输入到步骤2建立的卷积神经网络中进行训练；

步骤4将待测的二维图像输入到步骤3训练好的卷积神经网络模型中，卷积神经网络模型输出三维重建结果。