[发明专利]结合高度图从无标记单目图像中恢复三维人体姿态的方法

权利要求书

1.一种结合高度图从无标记单目图像中恢复三维人体姿态的方法，其特征在于，该方法包括如下步骤：

1)使用彩色图像数据集和高度图像数据集训练得到基于深度卷积网络的二维关节点识别模型；

2)读入彩色视频帧图像序列和相机参数，估算得到每帧彩色图像对应的高度图像；

3)将步骤2)得到的高度图及其对应的彩色图像输入步骤1)训练得到的基于深度卷积网络的二维关节点识别模型，识别得到每帧图像中人体的二维关节点坐标；

4)输入步骤3)得到的多帧图像的二维关节点坐标，根据优化模型恢复出每帧图像中人体的三维姿态；具体为：

在t时刻三维人体状态可表示为：

其中P_t表示t时刻三维人体姿态，V_t表示t时刻的关节点速率；

三维人体状态表示成一系列主成分B＝{b₁,…,b_k}和一个平均向量μ的线性组合：

其中ω_t是主成分的系数，是B的一个优化子集；B通过对不同类型的运动数据进行主成分分析得到；

给定一个图像序列的二维关节点坐标对应的三维姿态通过优化如下目标函数得到：

其中m和n分别表示输入的图像序列包含的帧数和三维关节点的数目；弱透视相机模型I为单位矩阵，为克罗内克积，为相机投影矩阵；0_n为n×n的零矩阵，α用于平衡反投影误差和时序一致性，

2.如权利要求1所述的结合高度图从无标记单目图像中恢复三维人体姿态的方法，其特征在于，所述的高度图采用以下方式计算得到：

对于人体轮廓内的每一个像素点，使用高度估计方法进行高度估计，该方法通过把图像平面上的二维特征反投影到三维场景中来计算人体的高度；高度图中的每一个像素点的值表示的是该点的高度；把高度图中的每一个像素的值H(x,y)归一化为相对高度即：

其中x和y是像素坐标，h_i表示第i个人的身高；k’是一个用来把相对高度图映射到所需的区间的缩放常量。

3.如权利要求1所述的结合高度图从无标记单目图像中恢复三维人体姿态的方法，其特征在于，所述步骤1)中基于深度卷积网络的二维关节点识别模型在传统的基于RGB图像的识别模型上增加高度图，使其深度卷积网络变成双流结构，并在最后的图模型之前增加了一个融合层，来融合双流卷积网络的输出。

4.如权利要求1所述的结合高度图从无标记单目图像中恢复三维人体姿态的方法，其特征在于，所步骤1)中基于深度卷积网络的二维关节点识别模型的训练过程为：

1.1)使用公开数据集”Leeds Sports Poses”和合成的高度图像数据集对基于深度卷积网络的二维关节点识别模型进行训练，合成的高度图像数据集通过运动数据驱动人体模型来获得；

1.2)使用真实视频中的RGB图像及其对应的高度图对得到的识别模型进行微调。

5.如权利要求1所述的结合高度图从无标记单目图像中恢复三维人体姿态的方法，其特征在于，所述步骤2)中彩色视频帧图像对应的高度图的生成过程如下：

2.1)对输入的彩色视频帧图像进行前景提取，得到每帧图像的前景二值图像；

2.2)读入相机内参、外参和每帧图像的前景二值图像，生成每帧图像对应的高度图。

6.如权利要求1所述的结合高度图从无标记单目图像中恢复三维人体姿态的方法，其特征在于，所述步骤3)中识别得到的二维关节点共有14个，分别是：左/右脚踝、左/右膝盖、左/右臀部、左/右手腕、左右/肘部、左/右肩膀、颈部和头部；二维关节点的坐标通过优化一个基于部位的图模型的得分函数F(l,T|I′)得到：

其中l＝{l_i|i∈V}是关节点位置的集合，T＝{T_ij|(i,j)∈ε}是成对的关系类型，ω₀是一个偏置项；V和ε分别是图模型的顶点和边的集合；U和R通过边缘化训练得到的卷积网络的联合分布得到，包含部位类型和成对关系类型的混合；卷积网络的输入是一个图像块，而输出是一个部位落在该图像块的概率。