[发明专利]3D模型重建方法、装置及电子设备

权利要求书

1.一种3D模型重建方法，其特征在于，包括：

从包含目标对象的输入图像上对所述目标对象执行分割操作，以获得所述目标对象在所述输入图像上的纹理贴图；

将预设的3D初始模型投影到2D平面上，形成模型轮廓；

基于分割掩码，形成所述目标对象的输入轮廓；其中，所述分割掩码是从所述输入图像中提取所述目标对象的边缘，根据所述边缘形成的；

在所述输入轮廓和所述模型轮廓上分别设置第一关键点集合和第二关键点集合，所述第一关键点集合与所述第二关键点集合中关键点的数目相同且一一对应；

计算所述模型轮廓中任一关键点pi在所述输入轮廓中的对应平面坐标(xi，yi)；

根据所述输入轮廓和模型轮廓在长、宽上的变化比例，变换所述3D初始模型中任一关键点pi的空间坐标zi；

基于所述平面坐标和所述空间坐标，确定3D骨骼模型的最终形状；

获取所述纹理贴图的边缘部分及所述边缘部分在所述3D骨骼模型中三角面片上的深度值；

当所述深度值是否大于预设阈值时，利用预设的网络对所述边缘部分边缘纹理进行预测，形成边缘预测纹理贴图；

基于所述边缘预测纹理贴图，形成所述目标对象的3D重建模型。

2.根据权利要求1所述的方法，其特征在于，所述获取所述纹理贴图的边缘部分及所述边缘部分在所述3D骨骼模型中三角面片上的深度值，包括：

获取所述边缘部分在所述3D骨骼模型中三角面片Z轴上的值；

将所述Z轴上的值作为所述深度值。

3.根据权利要求1所述的方法，其特征在于，所述基于所述边缘预测纹理贴图，形成所述目标对象的3D重建模型，包括：

获取目标对象的正面纹理贴图、遮挡纹理贴图及边缘预测纹理贴图；

将正面纹理贴图、遮挡纹理贴图及边缘预测纹理贴图按照预设的规则匹配到所述3D骨骼模型的三角面片上，形成所述3D重建模型。

4.根据权利要求3所述的方法，其特征在于，所述获取目标对象的正面纹理贴图、遮挡纹理贴图及边缘预测纹理贴图，包括：

对所述输入图像进行梯度计算；

选取梯度计算结果大于预设值的像素点，形成所述目标对象的边缘；

基于所述目标对象的边缘，形成所述目标对象的分割掩码；

获取所述分割掩码区域在所述输入图像上的区域表示；

将所述区域表示内的像素集合作为所述输入图像的正面纹理贴图。

5.根据权利要求4所述的方法，其特征在于，所述获取目标对象的正面纹理贴图、遮挡纹理贴图及边缘预测纹理贴图，还包括：

获取所述3D骨骼模型被遮挡部分的区域表示；

将所述区域表示及所述输入图像输入到预测网络中；

利用预测网络预测所述区域表示内的图像，形成遮挡纹理贴图。

6.根据权利要求3所述的方法，其特征在于，所述将正面纹理贴图、遮挡纹理贴图及边缘预测纹理贴图按照预设的规则匹配到所述3D骨骼模型的三角面片上，形成所述3D重建模型，包括：

确认3D空间坐标系下的摄像机坐标，使得在所述摄像机坐标下，所述3D骨骼模型在显像画面上的投影所形成的轮廓与所述输入轮廓完全重合；

确定组成所述3D骨骼模型的任一个三角面片的三个顶点在所述输入轮廓对应原图上的3个2D对应点；

利用所述对应点、正面纹理贴图、遮挡纹理贴图及边缘预测纹理贴图，确定贴图面片；

将所述贴图面片作为其所对应的3D三角面片的贴图，将所述输入图像上的贴图面片贴在所述3D三角面片上；

将包含贴图面片的3D骨骼模型作为所述目标对象的第一3D重建模型。