[发明专利]一种有遮挡情况下的人体三维重建方法、装置及电子设备

说明书

本发明公开了一种有遮挡情况下的人体三维重建方法、装置及电子设备，包括：获取目标人体的单帧RGB‑D图像，RGB‑D图像包含彩色图像和深度图像；对彩色图像进行实例分割，得到目标人体部分及遮挡物体部分的分割像素掩码，根据分割像素掩码对深度图像进行分割，得到目标人体深度图像和遮挡物体深度图像；将遮挡物体深度图像转换为表面法向图像，再使用卷积神经网络进行遮挡物体姿态估计；基于遮挡物体的姿态估计，对遮挡物体进行三维重建，获得遮挡物体三维模型；根据彩色图像、目标人体深度图像和遮挡物体三维模型进行三维人体重建，获得三维人体模型。本发明通过对遮挡物体的三维重建，提高了有遮挡情形下的单视角人体三维重建的准确性和可靠性。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种有遮挡情况下的人体三维重建方法、装置及电子设备。

背景技术

在计算机视觉领域里根据单个视角的观察进行三维人体重建的技术有广泛应用。例如服务机器人与人交互的时候需要从自身的视角方向估计交互对象的三维人体模型。再譬如增强现实应用需要从自身的视角方向估计目标人体的三维模型用于叠加其他三维物体。由于单视角图像只观察到正面的人体表面，重建三维模型需要依赖人体几何形状的先验知识。一种比较常用的方法是使用RGB-D相机从单个视角拍摄人体的RGB-D图像，包括彩色图像和深度图像，再将基于统计的参数化人体模型拟合到RGB-D图像中。这类方法利用了统计意义上的信息，对不可见部分进行了一定程度的补全，在无遮挡情形下取得了较好的效果。但在有物体遮挡情况下，不仅人体可见表面较小使得模型拟合时约束不足，而且遮挡物体的图像信息会带来混淆，使得上述方法不能可靠的实现单视角三维人体重建。遮挡问题在室内场景特别突出，因为在室内人体非常容易受到桌子和椅子等家具的遮挡。这给服务机器人和增强现实等室内常见应用带来困难。

发明内容

本发明实施例的目的是提供一种有遮挡情况下的人体三维重建方法、装置及电子设备，以解决现有在有物体遮挡情况下不能可靠的实现单视角三维人体重建的问题。

为了达到上述目的，本发明实施例所采用的技术方案来如下：

第一方面，本发明实施例提供一种有遮挡情况下的人体三维重建方法，包括：

获取目标人体的单帧RGB-D图像，所述RGB-D图像包含彩色图像和深度图像；

对彩色图像进行实例分割，得到目标人体部分及遮挡物体部分的分割像素掩码，根据分割像素掩码对深度图像进行分割，得到目标人体深度图像和遮挡物体深度图像；

将遮挡物体深度图像转换为表面法向图像，再使用预训练的卷积神经网络进行遮挡物体姿态估计；

基于遮挡物体的姿态估计，对遮挡物体进行三维重建，获得遮挡物体三维模型；

根据彩色图像、目标人体深度图像和遮挡物体三维模型进行三维人体重建，获得三维人体模型。

进一步地，所述预训练的卷积神经网络的获取包括：

构建常见物体的三维模型库，其中三维模型使用三维扫描仪扫描获取，或使用三维建模软件制作；

使用计算机图形学三维绘制的方法，将三维模型库中每一个三维模型使用多种姿态绘制得到多幅表面法向图像；

使用表面法向图像与三维姿态的对应数据，训练获得预训练的卷积神经网络。

进一步地，基于遮挡物体的姿态估计，对遮挡物体进行三维重建，获得遮挡物体的三维模型，包括：

使用分割像素掩码所包含的遮挡物体类别信息，将三维模型库中与遮挡物体同类的模型加入候选模型集合；