[发明专利]一种基于神经网络的图像三维模型构建方法及装置

说明书

本发明公开了一种基于神经网络的图像三维模型构建方法，包括以下步骤：特征提取步骤：利用二维CNN提取二维图像的图像特征；拼接步骤：将原始网格模型的三维坐标与所述图像特征拼接为图结构的顶点特征向量；三维坐标重建步骤：利用GCN对所述图结构的顶点特征向量进行卷积变形，获得新顶点及对应的三维坐标；三维模型重构步骤：根据新顶点的三维坐标既获得图像三维模型。还公开了一种神经网络的图像三维模型构建装置，该图像三维模型构建方法及装置可以应用于家具图像以及室内装修图的三维重建。

技术领域

本发明属于3D重建领域，具体涉及一种基于神经网络的图像三维模型构建方法及装置。

背景技术

目前，市面上存在的各种3D模型大多数都为3D艺术家及3D模型行业从业人员手动创建的，这是一项时间密集，成本高昂而且毫无拓展性的工作。并且，此行业中还存在着缺少此类手动3D建模的人才的情况。因此，减少3D重建人工的投入是具有重要经济利益的。

目前，深度学习已经被广泛的应用于目标检测、图像检测、数据生成等领域。近几年来，深度学习技术也开始被应用于3D重建这一领域。卷积神经网络(CNN)是目前深度学习中较为先进的技术之一，CNN也已经被大量研究证明在处理2维图片方面时能展现强大的性能。然后当将CNN应用一些数据结构并不规律整齐，例如图结构时，并不能取得很好的结果。而在3D重建过程中，3D模型往往没有像图像一样有整齐的结构。但随着GCN图卷积神经网络的发展，为数据结构不整齐的数据提供了卷积方案。图卷积神经网络可以对数据结构为图的数据进行很好的特征提取。

现有的3D模型重建方法，基本上都采用多视角的方法或者深度相机拍摄。例如SFM算法，需要输入大量不同角度的图片，即需要获得待3D重建物体的表面完整信息，将获得的各视角的点云图数据变换到同一个坐标系下，完成多视角的数据坐标校准，才能够重建出精确度较高的3D模型坐标点，之后再配合上meshlab对模型进行表面的绘制修改等操作才可以重建出精确度高的3D模型。在日常生活中，获得某个物体的多张不同角度的图片在某些情况下很难做到，比如摄像机与物体的位置角度无法改变时，想要通过输入多张图片来获得物体精确度较高的3D模型几乎难以实现。当然，输入单张图片进行3D重建的方法已经开始发展，如3D-R2N2，pixel2Vox等，但这些深度学习算法虽然支持输入单张图片进行3D重建，但生成的3D模型为体素模型，与真实模型相差过大，基本无法投入实际应用。因此推出mesh结构的3D模型。

网格(Mesh)模型是一种发展潜力巨大的，适合编码的3D物体结构。相比于其他模型结构，诸如点云模型，体素模型，Mesh模型拥有其他模型没有的表面，以及表面光滑的特征细节，且使用mesh模型的3D模型基本上可以直接投入实际应用之中，mesh结构较其他3D模型如点云模型，体素模型等更容易修改或进一步加工，而图结构可以很好地用来表示Mesh的结构，通过基于图的卷积神经网络，就可以获得较好的结果。

发明内容

本发明的目的是提供一种基于神经网络的图像三维模型构建方法及装置，利用该图像三维模型构建方法及装置只要给出单张的RGB图片，既可以自动重建获得图像的三维模型。该图像三维模型构建方法及装置可以应用于家具图像以及室内装修图的三维重建。

本发明的技术方案为：

一种基于神经网络的图像三维模型构建方法，包括以下步骤：

特征提取步骤：利用二维CNN提取二维图像的图像特征；

拼接步骤：将原始网格模型的三维坐标与所述图像特征拼接为图结构的顶点特征向量；

三维坐标重建步骤：利用GCN对所述图结构的顶点特征向量进行卷积变形，获得新顶点及对应的三维坐标；

三维模型重构步骤：根据新顶点的三维坐标既获得图像三维模型。

该图像三维模型构建方法能够只根据二维图像就能重建获得三维模型，大大提升了构建效率。