[发明专利]物体三维形状重建方法、装置、设备及存储介质

说明书

本发明提供一种物体三维形状重建方法、装置、设备及存储介质，涉及人工智能图像处理，包括：对包括单个物体的二维图像进行归一化，得到归一化图像；将归一化图像输入物体形状重建网络，通过物体形状重建网络的特征提取器获取对应的特征信息，并输入至物体形状重建网络的生成器，得到物体的预测体素的置信度三维张量；基于预设阈值，对置信度三维张量中的每一项元素进行二值化处理，得到表示物体的三维形状的体素。本发明能够准确高效地从二维图像中恢复物体的三维结构，提升三维形状重建的效率，节省了人力物力。

技术领域

本发明涉及人工智能的图像处理技术领域，尤其涉及一种物体三维形状重建方法、装置、设备及存储介质。

背景技术

三维重建的主要目标之一是从二维图像恢复物体的三维结构。近年来，随着虚拟现实、3D打印、自动驾驶、智能医疗和影视制作等产业的发展，人们对三维模型的需求出现了爆发式的增长，传统的手工建模方法已难以满足这一需求。准确高效的物体三维重建方法成为解决这一问题的关键。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明实施例提出一种物体三维形状重建方法，旨在实现准确高效地从二维图像恢复物体的三维结构。

第一方面，本发明实施例提供一种物体三维形状重建方法，包括：对包括单个物体的二维图像进行归一化，得到归一化图像；将所述归一化图像输入物体形状重建网络，通过所述物体形状重建网络的特征提取器获取对应的特征信息，并输入至所述物体形状重建网络的生成器，得到所述物体的预测体素的置信度三维张量；基于预设阈值，对所述置信度三维张量中的每一项元素进行二值化处理，得到表示所述物体的三维形状的体素。

根据本发明实施例的物体三维形状重建方法，至少具有如下有益效果：通过将包括单个物体的二维图像进行归一化并输入至物体形状重建网络，对物体形状网络进行训练，并通过训练好的物体形状重建网络获取预测体素的置信度三维系统张量，二值化后得到相应的体素，能够准确高效地从二维图像中恢复物体的三维结构，提升三维形状重建的效率，节省了人力物力。

根据本发明的一些实施例，所述特征提取器由多个密集连接块和一个可变形卷积模块构成。

根据本发明的一些实施例，还包括配置每个所述密集连接块的以下参数：所述密集连接块中参与密集连接的每个卷积层的通道数、所述密集连接块输出的特征图的通道数以及所述密集连接块中参与密集连接的卷积层数量。

根据本发明的一些实施例，所述可变形卷积模块包括主线和第一学习分支，所述第一学习分支学习每一次卷积加权求和作用的图像区域，以为主线的卷积操作中对应的窗口的每个点预测偏移向量。

根据本发明的一些实施例，所述特征提取器获取的所述特征信息通过reshape的操作，以使所述特征信息能向三维形状的体素转化。

根据本发明的一些实施例，所述基于预设阈值，对所述置信度三维张量中的每一项元素进行二值化处理包括：若所述元素小于所述预设阈值，则设置该元素对应的值为第一数值，所述第一数值表示所述体素中为空白状态的网格；若所述元素大于所述预设阈值，则设置该元素对应的值为第二数值，所述第二数值表示所述体素中为占有状态的网格。

根据本发明的一些实施例，通过第一损失函数对所述物体形状重建网络进行训练，所述第一损失函数为二元交叉熵损失函数和骰子损失的加权和。

第二方面，本发明实施例提供一种物体三维形状重建装置，包括：归一化模块，用于对包括单个物体的二维图像进行归一化，得到归一化图像；重建模块，用于将所述归一化图像输入物体形状重建网络，通过所述物体形状重建网络的特征提取器获取对应的特征信息，并输入至所述物体形状重建网络的生成器，得到所述物体的预测体素的置信度三维张量；二值化模块，用于基于预设阈值，对所述置信度三维张量中的每一项元素进行二值化处理，得到表示所述物体的三维形状的体素。