[发明专利]对象重建方法、装置、电子设备及存储介质

说明书

本公开关于一种对象重建方法、装置、电子设备及存储介质，该方法包括获取多视角目标对象图像和目标对象图像中每一像素点的光照信息；生成目标对象的对象特征、颜色特征和多视角的对象差异属性特征；将像素点的像素坐标、对象特征和对象差异属性特征输入形状表征网络进行对象形状表征，得到表征每一像素点到目标对象的几何形状边界距离信息的对象形状表征信息；将像素坐标、对象形状表征信息、颜色特征和光照信息，输入图像渲染网络进行图像渲染处理，得到多视角渲染图像；基于渲染图像和目标对象图像，对对象形状表征信息进行对象重建更新，得到目标对象的三维重建信息。利用本公开实施例可以减小对象表征的存储开销，提升对象重建信息分辨率。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种对象重建方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉技术的发展，图像处理技术在虚拟形象的应用场景越来越多，如游戏、社交、拍摄等应用。为了提高虚拟形象的逼真度，常常需要进行人脸、手等构建虚拟形象所需对象的三维重建。

相关技术中，人脸等对象的重建，通常使用传统的三角面片(triangle,mesh)来表征对象三维形状。具体的，基于三维变形人脸模型(3D Morphable Models,3DMMs)，使用深度学习的编解码网络从输入的多视角图像中提取特征，从而学习3DMMs的各组基础形状的系数；最后，使用加权平均的形状混合实现对三维人脸形状的重建。但上述相关技术中基于三角面片的形状表征是不连续的，无法全面的表征对象形状，导致相关技术三维重建信息分辨率较低，且基于三角面片的形状表征存储开销与分辨率正相关，越高分辨率需要越多的存储空间，存在无法平衡对象重建信息分辨率和存储开销的问题。

发明内容

本公开提供一种对象重建方法、装置、电子设备及存储介质，以至少解决相关技术中三维重建信息分辨率较低，以及无法平衡对象重建信息分辨率和存储开销的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种对象重建方法，包括：

获取多视角下采集的目标对象的多个目标对象图像和所述多个目标对象图像中每一像素点的光照信息；

生成所述目标对象的对象特征、所述目标对象的颜色特征和所述目标对象在所述多视角下对应的多个对象差异属性特征；

将所述每一像素点的像素坐标、所述对象特征和所述多个对象差异属性特征输入形状表征网络进行对象形状表征，得到对象形状表征信息，所述对象形状表征信息表征所述每一像素点到所述目标对象的几何形状边界的距离信息；

将所述每一像素点的像素坐标、所述对象形状表征信息、所述颜色特征和所述光照信息，输入图像渲染网络进行图像渲染处理，得到所述多视角下的多个渲染图像；

基于所述多个渲染图像和所述多个目标对象图像，对所述对象形状表征信息进行对象重建更新，得到所述目标对象的三维重建信息。

可选的，所述基于所述多个渲染图像和所述多个目标对象图像，对所述对象形状表征信息进行对象重建更新，得到所述目标对象的三维重建信息包括：

根据所述多个渲染图像和所述多个目标对象图像，确定第一目标损失；

在所述第一目标损失未满足第一预设条件的情况下，更新所述对象特征、所述多个对象差异属性特征和所述颜色特征；

基于更新后的对象特征、更新后的多个对象差异属性特征和更新后的颜色特征，重复所述将所述每一像素点的像素坐标、所述对象特征和所述多个对象差异属性特征输入形状表征网络进行对象形状表征，得到对象形状表征信息，至所述根据所述多个渲染图像和所述多个目标对象图像，确定第一目标损失的步骤，直至所述第一目标损失满足所述第一预设条件；

在所述第一目标损失满足所述第一预设条件的情况下，将当前的形状表征网络输出的对象形状表征信息，作为所述三维重建信息。