[发明专利]一种物体的三维重建方法、存储介质、终端及系统

说明书

本发明公开了一种物体的三维重建方法、存储介质、终端及系统，属于图片重建3D模型技术领域，方法包括：提取单张任意角度图片的高维特征，根据高维特征还原物体第一固定视角图像；根据第一固定视角图像生成形状遮罩进而生成物体的3D模型。系统包括U型生成式对抗网络和3D条件生成式对抗网络。本发明通过提取单张图片的高维特征以还原物体固定视角即第一固定视角视图，能够降低信息扰动；根据固定视角视图生成形状遮罩，有利于提高三维重建的效率、准确度，适用于任意视角图片、效果逼真的特点，满足了任意视角的单张物体图片实时重建3D模型的需要。

技术领域

本发明涉及单张图片重建3D模型技术领域，尤其涉及一种物体的三维重建方法、存储介质、终端及系统。

背景技术

三维重建在计算机视觉和模型领域有着广泛的应用。在过去，研究人员通常是使用多张不同视角的图片来解决三维重建，而从单张图片实现三维重建是仍然是一件十分困难的事情，因为这需要很强大的模型理解能力来从一个低维的空间预测其形状信息。

最近，研究人员使用CNN进行体素预测3D重建方面获得了很大的进步。这类方法通常考虑使用一个固定视角或者少数几个视角的图片，这并不适用于实际的应用中，因为在实际的应用中物体通常能被任意角度观察，拍摄的图片也是任意角度的。但是使用任意角度的图片进行学习训练很难获得好的效果，因为不同视角图片带来的差异性会扰乱网络提取其形状特征，即信息扰动大。如何避免不同视角图片带来的差异性成为了当前利用单张任意视角图片进行物体3D模型重建亟待解决的问题。

发明内容

本发明的目的在于克服现有技术中无法根据单张任意视角的图片实现物体的三维重建的不足，提供一种物体的三维重建方法、存储介质、终端及系统。

本发明的目的是通过以下技术方案来实现的，一种物体的三维重建方法，方法具体包括利用固定视角图像为提取单张任意角度图片的高维特征、并根据高维特征还原得到物体的第一固定视角图像，根据第一固定视角图像生成形状遮罩进而生成物体的3D模型。

具体地，第一固定视角图像生成形状遮罩具体包括：根据第一固定视角图像提取物体的形状轮廓二值图像特征进而生成3D空间内的形状遮罩，其计算公式具体为：

P_valid＝P{v＝1|mask＝1}＝1

P_invalid＝P{v＝1|mask＝0}＝0

其中，P代表在3D空间中模型与物体的形状轮廓二值图像对应位置有体素的期望，P_valid表示在3D空间中模型与物体的形状轮廓二值图像对应位置有体素的有效期望，P_invalid在3D空间中模型与物体的形状轮廓二值图像对应位置无体素的无效期望，mask代表形状轮廓二值图像中的某个像素值，v表示3D空间的三维像素值。

具体地，第一固定视角包括侧视视角、俯视视角、正视视角。

具体地，得到物体的第一固定视角图像为通过U型生成式对抗网络实现的；根据第一固定视角图像生成形状遮罩进而生成物体的3D模型是通过3D条件生成式对抗网络实现的。

具体地，3D条件生成式对抗网络中的判别器加入了能够与第一固定视角图像相映射的形状遮罩，该形状遮罩能够帮助判别器判断3D模型的真假进而反向影响生成器学习轮廓图片信息。

具体地，得到物体的第一固定视角图像步骤还包括训练生成式对抗网络：

预处理数据集，得到各物体各角度的若干张图片的训练数据集；

根据训练数据集交替训练生成式对抗网络模型中的生成器与鉴别器，调整生成器与鉴别器内部各层的权重，进而得到性能稳定的生成式对抗网络。

具体地，还原得到物体的第一固定视角图像步骤前还包括：将单张任意角度图片进行随机区域裁剪、反转和色彩正则化。