[发明专利]三维重建方法、装置和系统、介质及计算机设备

说明书

本公开实施例提供一种三维重建方法、装置和系统、介质及计算机设备，通过三维重建网络对目标对象的图像进行三维重建，得到所述目标对象的初始参数，所述初始参数用于建立所述目标对象的三维模型；基于预先获取的用于表示目标对象特征的监督信息对所述初始参数进行优化，得到优化参数；基于所述优化参数进行骨骼蒙皮处理，建立所述目标对象的三维模型。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及三维重建方法、装置和系统、介质及计算机设备。

背景技术

三维重建是计算机视觉中的重要问题之一，在增强现实，虚拟现实等领域有许多潜在的应用。通过对目标对象进行三维重建，能够重建出目标对象的体态和肢体旋转。然而，传统的三维重建方式无法兼顾重建结果的准确性和可靠性。

发明内容

本公开提供一种三维重建方法、装置和系统、介质及计算机设备。

根据本公开实施例的第一方面，提供一种三维重建方法，所述方法包括：通过三维重建网络对目标对象的图像进行三维重建，得到所述目标对象的初始参数，所述初始参数用于建立所述目标对象的三维模型；基于预先获取的用于表示目标对象特征的监督信息对所述初始参数进行优化，得到优化参数；基于所述优化参数进行骨骼蒙皮处理，建立所述目标对象的三维模型。

在一些实施例中，所述监督信息包括第一监督信息，或者所述监督信息包括第一监督信息和第二监督信息；所述第一监督信息包括以下至少一者：所述目标对象的初始二维关键点，所述图像中所述目标对象上的多个像素点的语义信息；所述第二监督信息包括所述目标对象表面的初始三维点云。本公开实施例可以仅采用目标对象的初始二维关键点或者像素点的语义信息作为监督信息来对所述初始参数进行优化，优化效率较高，优化复杂度低；或者，也可以将目标对象表面的初始三维点云与前述的初始二维关键点或者像素点的语义信息共同作为监督信息，从而提高获取的优化参数的准确度。

在一些实施例中，所述方法还包括：通过关键点提取网络从所述目标对象的图像中提取所述目标对象的初始二维关键点的信息。将关键点提取网络提取出的初始二维关键点的信息作为监督信息，能够为三维模型生成较为自然合理的动作。

在一些实施例中，所述图像包括所述目标对象的深度图像；所述方法还包括：从所述深度图像中提取所述目标对象上多个像素点的深度信息；基于所述深度信息将所述深度图像中所述目标对象上的多个像素点反向投影到三维空间，得到所述目标对象表面的初始三维点云。通过提取深度信息，并基于深度信息将二维图像上的像素点反向投影到三维空间，得到目标对象表面的初始三维点云，从而能够将该初始三维点云作为监督信息来优化初始参数，进一步提高了参数优化的准确性。

在一些实施例中，所述图像还包括所述目标对象的RGB图像；所述从所述深度图像中提取所述目标对象上多个像素点的深度信息，包括：对所述RGB图像进行图像分割，基于图像分割的结果确定所述RGB图像中目标对象所在的图像区域，基于所述RGB图像中目标对象所在的图像区域确定所述深度图像中目标对象所在的图像区域；获取所述深度图像中所述目标对象所在的图像区域中多个像素点的深度信息。通过对RGB图像进行图像分割，能够准确地确定目标对象的位置，从而准确地提取出目标对象的深度信息。

在一些实施例中，所述方法还包括：从所述初始三维点云中过滤掉离群点，将过滤后的所述初始三维点云作为所述第二监督信息。通过过滤离群点，从而减轻离群点的干扰，进一步提高了参数优化过程的准确性。