[发明专利]三维模型的重构方法、装置、设备及存储介质

权利要求书

1.一种三维模型的重构方法，其特征在于，所述方法包括：

获取单张目标图像，所述目标图像中包含目标重构对象的影像；

对所述目标图像进行特征提取，得到所述目标图像对应的目标特征图；

将所述目标特征图输入网格重构网络，并将所述目标特征图输入体素重构网络，所述网格重构网络和所述体素重构网络之间语义连接，所述网格重构网络用于根据所述目标特征图重构所述目标重构对象的三维网格模型，所述体素重构网络用于根据所述目标特征图重构所述目标重构对象的体素模型；

根据所述网格重构网络输出的目标网格信息构建目标三维模型，所述目标网格信息是所述目标三维模型中网格顶点的信息。

2.根据权利要求1所述的方法，其特征在于，所述网格重构网络包括关键点提取子网络、邻接关系提取子网络和第一解码器；

所述将所述目标特征图输入网格重构网络，包括：

将所述目标特征图输入所述关键点提取子网络，得到所述关键点提取子网络输出的关键点特征图，所述关键点特征图包括所述目标图像中关键特征点的图像特征；

将所述目标特征图输入所述邻接关系提取子网络，得到所述邻接关系提取子网络输出的邻接矩阵，所述邻接矩阵用于表征所述目标重构对象中特征点的邻接关系；

通过所述第一解码器对所述关键点特征图和所述邻接矩阵进行图卷积处理。

3.根据权利要求2所述的方法，其特征在于，所述通过所述第一解码器对所述关键点特征图和所述邻接矩阵进行图卷积处理，包括：

根据所述关键点特征图中各个位置的特征值，确定所述关键特征点；

根据所述关键特征点和所述邻接矩阵，确定关键点邻接矩阵，所述关键点邻接矩阵用于表征所述关键特征点之间的邻接关系；

通过所述第一解码器对所述关键点特征图和所述关键点邻接矩阵进行图卷积处理。

4.根据权利要求2所述的方法，其特征在于，所述体素重构网络包括第二解码器，所述第二解码器用于对所述目标特征图进行三维卷积处理，且所述第一解码器与所述第二解码器之间语义连接；

所述将所述目标特征图输入网格重构网络，并将所述目标特征图输入体素重构网络之后，所述方法还包括：

获取所述第二解码器中第n三维卷积层输出的三维特征，所述三维特征用于表征重构体素的特征，n为大于等于1的整数；

获取所述第一解码器中第n图卷积层输出的图节点特征，所述图节点特征用于表征重构网格顶点的特征；

对所述三维特征和所述图节点特征进行特征融合，并将融合后的特征输入第n+1图卷积层。

5.根据权利要求4所述的方法，其特征在于，所述对所述三维特征和所述图节点特征进行特征融合，包括：

获取所述图节点特征对应重构网格顶点的顶点坐标；

对所述顶点坐标周侧的所述三维特征进行线性插值运算，并将线性插值运算得到的特征与所述图节点特征进行特征融合。

6.根据权利要求1至5任一所述的方法，其特征在于，所述根据所述网格重构网络输出的目标网格信息构建目标三维模型之后，所述方法还包括：

在虚拟环境中显示所述目标三维模型，所述目标三维模型是所述虚拟环境中的虚拟道具、虚拟载具或虚拟对象中的至少一种；

或者，

向立体打印设备发送所述目标三维模型的模型数据，所述立体打印设备用于根据所述模型数据打印实体模型。

7.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

对样本图像进行特征提取，得到所述样本图像对应的样本特征图，所述样本图像中包括样本重构对象的影像；

将所述样本特征图输入所述网格重构网络，并将所述样本特征图输入所述体素重构网络；

获取所述网格重构网络输出的样本网格信息，以及所述体素重构网络输出的样本体素信息；

根据所述样本网格信息、所述样本体素信息以及标准三维模型，确定网络损失，所述标准三维模型是所述样本重构对象对应的三维模型；

根据所述网络损失训练所述网格重构网络和所述体素重构网络。