[发明专利]3D模型重建方法、装置及电子设备

说明书

本公开实施例中提供了一种3D模型重建方法、装置及电子设备，属于数据处理技术领域，该方法包括：从包含目标对象的输入图像上对所述目标对象执行分割操作，以获得所述目标对象在所述输入图像上的纹理贴图；对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型；获取所述纹理贴图的边缘部分及所述边缘部分在所述3D骨骼模型中三角面片上的深度值；当所述深度值是否大于预设阈值时，利用预设的网络对所述边缘部分边缘纹理进行预测，形成边缘预测纹理贴图；基于所述边缘预测纹理贴图，形成所述目标对象的3D重建模型。通过本公开的方案，能够基于多张图像生成贴图纹理，提高了3D模型重建纹理的准确性。

技术领域

本公开涉及3D模型重建技术领域，尤其涉及一种3D模型重建方法、装置及电子设备。

背景技术

基于人物的3D建模，是通过一定的技术手段来设立人物的三维模型，常见的3D模型重建方法包括基于高精度硬件，对整个人体进行全身进行扫描，根据扫描数据建立人体3D模型。还可以根据标准人体3D模型，由专业的艺术工作者，根据目标人体的样貌(照片、视频等记录下的样貌)，调整3D模型，使其尽可能地接近目标人体的3D样貌。或者使用GAN网络实现相似功能，创建后的人体3D模型，一般的使用场景是让该模型做一些指定的动作(比如跳舞)。使用深度学习中的对抗网络(GAN)也可以达到相类似的效果。方法是通过对目标人物(人物A)的多张图片数据，学习出人物A的GAN模型，然后根据舞蹈动作的2D骨骼生成人物A的跳舞动作。

上述实现方式的执行过程中，存在3D建模贴图失真的情况，导致产生的3D建模图像不够真实。

发明内容

有鉴于此，本公开实施例提供一种3D模型重建方法、装置及电子设备，至少部分解决现有技术中存在的问题。

第一方面，本公开实施例提供了一种3D模型重建方法，包括：

从包含目标对象的输入图像上对所述目标对象执行分割操作，以获得所述目标对象在所述输入图像上的纹理贴图；

对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型；

获取所述纹理贴图的边缘部分及所述边缘部分在所述3D骨骼模型中三角面片上的深度值；

当所述深度值是否大于预设阈值时，利用预设的网络对所述边缘部分边缘纹理进行预测，形成边缘预测纹理贴图；

基于所述边缘预测纹理贴图，形成所述目标对象的3D重建模型。

根据本公开实施例的一种具体实现方式，所述获取所述纹理贴图的边缘部分及所述边缘部分在所述3D骨骼模型中三角面片上的深度值，包括：

获取所述边缘部分在所述3D骨骼模型中三角面片Z轴上的值；

将所述Z轴上的值作为所述深度值。

根据本公开实施例的一种具体实现方式，所述基于所述预测纹理，形成所述目标对象的3D重建模型，包括：

获取目标对象的正面纹理贴图、遮挡纹理贴图及边缘预测纹理贴图；

将正面纹理贴图、遮挡纹理贴图及边缘预测纹理贴图按照预设的规则匹配到所述3D骨骼模型的三角面片上，形成所述3D重建模型。

根据本公开实施例的一种具体实现方式，所述获取目标对象的正面纹理贴图、遮挡纹理贴图及边缘预测纹理贴图，包括：

对所述输入图像进行梯度计算；

选取梯度计算结果大于预设值的像素点，形成所述目标对象的边缘；

基于所述目标对象的边缘，形成所述目标对象的分割掩码；

获取所述分割掩码区域在所述输入图像上的区域表示；