[发明专利]结合高度图从无标记单目图像中恢复三维人体姿态的方法

摘要

本发明公开了一种结合高度图从无标记单目图像中恢复三维人体姿态的方法，步骤如下：1)使用彩色图像和高度图像训练得到基于深度卷积网络的二维关节点识别模型；2)输入视频帧图像序列和相机参数，计算每帧图像对应的高度图；3)输入视频帧图像和步骤2)得到的高度图，使用步骤1)训练得到的二维关节点识别模型得到每帧图像中人体的二维关节点坐标；4)输入步骤3)得到的二维关节点坐标，根据优化模型恢复出人体三维姿态。本发明在二维关节点的识别过程中综合使用彩色图像和高度图像，提高了二维关节点的识别准确率；在从二维关节点恢复出三维人体姿态的优化模型中加入了时序一致性约束，使恢复出的三维人体姿态更加接近真实人体姿态。

主权项

1.一种结合高度图从无标记单目图像中恢复三维人体姿态的方法，其特征在于，该方法包括如下步骤：1)使用彩色图像数据集和高度图像数据集训练得到基于深度卷积网络的二维关节点识别模型；2)读入彩色视频帧图像序列和相机参数，估算得到每帧彩色图像对应的高度图像；3)将步骤2)得到的高度图及其对应的彩色图像输入步骤1)训练得到的基于深度卷积网络的二维关节点识别模型，识别得到每帧图像中人体的二维关节点坐标；4)输入步骤3)得到的多帧图像的二维关节点坐标，根据优化模型恢复出每帧图像中人体的三维姿态；具体为：在t时刻三维人体状态可表示为：其中P_t表示t时刻三维人体姿态，V_t表示t时刻的关节点速率；三维人体状态表示成一系列主成分B＝{b₁,…,b_k}和一个平均向量μ的线性组合：其中ω_t是主成分的系数，是B的一个优化子集；B通过对不同类型的运动数据进行主成分分析得到；给定一个图像序列的二维关节点坐标对应的三维姿态通过优化如下目标函数得到：其中m和n分别表示输入的图像序列包含的帧数和三维关节点的数目；弱透视相机模型I为单位矩阵，为克罗内克积，为相机投影矩阵；0_n为n×n的零矩阵，α用于平衡反投影误差和时序一致性，