[发明专利]一种有遮挡情况下的人体三维重建方法、装置及电子设备

权利要求书

1.一种有遮挡情况下的人体三维重建方法，其特征在于，包括：

获取目标人体的单帧RGB-D图像，所述RGB-D图像包含彩色图像和深度图像；

对彩色图像进行实例分割，得到目标人体部分及遮挡物体部分的分割像素掩码，根据分割像素掩码对深度图像进行分割，得到目标人体深度图像和遮挡物体深度图像；

将遮挡物体深度图像转换为表面法向图像，再使用预训练的卷积神经网络进行遮挡物体姿态估计；

基于遮挡物体的姿态估计，对遮挡物体进行三维重建，获得遮挡物体三维模型；

根据彩色图像、目标人体深度图像和遮挡物体三维模型进行三维人体重建，获得三维人体模型，具体包括：在彩色图像中估计二维人体姿态，再从目标人体深度图像获取各关节点的三维坐标，从而得到三维人体姿态估计；以估计的三维人体姿态为初始值，以遮挡物体三维模型为几何约束，使用优化方法将参数化人体模型拟合到目标人体深度图像，获得三维人体模型。

2.根据权利要求1所述的一种有遮挡情况下的人体三维重建方法，其特征在于，所述预训练的卷积神经网络的获取包括：

构建常见物体的三维模型库，其中三维模型使用三维扫描仪扫描获取，或使用三维建模软件制作；

使用计算机图形学三维绘制的方法，将三维模型库中每一个三维模型使用多种姿态绘制得到多幅表面法向图像；

使用表面法向图像与三维姿态的对应数据，训练获得预训练的卷积神经网络。

3.根据权利要求1所述的一种有遮挡情况下的人体三维重建方法，其特征在于，基于遮挡物体的姿态估计，对遮挡物体进行三维重建，获得遮挡物体的三维模型，包括：

使用分割像素掩码中包含的遮挡物体的类别信息，将三维模型库中与遮挡物体同类的模型加入候选模型集合；

对候选模型集合中每一个模型，以遮挡物体的姿态估计作为模型放置参数的初始值，使用ICP方法计算该模型与遮挡物体的最小差异，该最小差异称为候选模型与遮挡物体的距离；将取得最小差异时的放置参数作为候选模型的最优放置参数；

选择候选模型集合中与遮挡物体的距离最小者为最匹配模型；

使用最优放置参数对最匹配模型进行几何变换，得到遮挡物体的三维模型。

4.根据权利要求3所述的一种有遮挡情况下的人体三维重建方法，其特征在于，对于候选模型集合中每一个模型，以初步估计的遮挡物体姿态作为模型放置参数的初始值，使用ICP方法计算该模型与遮挡物体的最小差异，包括：

步骤（1），以初步估计的遮挡物体姿态作为候选模型放置参数的初始值；

步骤（2），根据当前的放置参数对候选模型进行几何变换；

步骤（3），绘制经过几何变换后的候选模型，保留可见表面的深度值得到候选模型深度图像；

步骤（4），对于候选模型深度图像每一个点，在遮挡物体深度图像找到距离最小的点作为对应点，构成两幅深度图像间的对应点集合；

步骤（5），以对应点集合中所有对应点的距离之和为候选模型与遮挡物体的差异；

步骤（6），调整候选模型的放置参数使得所述差异最小。

5.根据权利要求4所述的一种有遮挡情况下的人体三维重建方法，其特征在于，还包括以下步骤：

步骤（7），重复步骤（2）-步骤（6）直到迭代结束标准被满足。

6.根据权利要求5所述的一种有遮挡情况下的人体三维重建方法，其特征在于，所述迭代结束标准为在一定的迭代次数内候选模型与遮挡物体的差异变化率小于一个预先设定的阈值。