[发明专利]一种二维到三维人体姿态估计方法

权利要求书

1.一种二维到三维人体姿态估计方法，其特征在于：该方法包括以下步骤：

(1)分层图卷积网络：包括特征增强模块和分层图卷积模块；特征增强模块由3层全连接层组成，其中后两层组成了一个残差块，通过网络从二维坐标中挖掘出关节坐标之间的潜在关系，以此来增强人体的特征表示；分层图卷积模块有6层，每层对应着当前粒度下的人体模型划分，通过统一的特征提取网络块提取人体不同粒度的特征，并通过层次化的融合，从而得到更好的特征；

(2)结合对角占优图卷积层和非局部层的特征提取网络块：在每一个粒度的人体骨架上利用对角占优图卷积层和非局部层进行特征提取；

(3)人体几何约束：在位置损失的基础上，加入人体几何约束，使得预测的三维姿态加合理；人体几何约束包括骨长比值约束以及骨方向夹角约束；预测的三维姿态应该满足人体各部位长度的比值固定，为了获得一个合理的人体骨架统一模型，利用训练数据集得到一个平均的人体骨架当作统一模板。

2.根据权利要求1所述的二维到三维人体姿态估计方法，其特征在于：所述步骤(1)中：

每个图结构表示为G＝(V,E)，其中V表示分层图结构中包含的K个关节点，E表示人体关节点之间的自然连接和扩展的连接的并集；分层图结构底层代表五个基元部位，分别表示躯干、左臂、右臂、左腿、右腿；由于四肢具有相似的自由度，可以独立运动，因此作为基元部位；躯干是四肢的父节点，决定着人体的主方向，因此作为另一个基元部位；把头部合并到躯干，因为头部包含的关节较少并且活动范围较小；不考虑小的关节点组合，因为少于三个关节点的组合不能构成平面信息，它们很难与特定的姿态联系起来；将四肢与躯干分别结合组成第二层，躯干补充四肢的主方向信息；因为人体具有左右对称性，所以考虑到对称和全局方向信息，上肢和下肢分别与躯干结合在一起组成第三层；最后，完整的人体作为最后一层，因为合理的人体姿态依赖于所有关节的协调，因此完整的骨骼信息提取至关重要。

3.根据权利要求2所述的二维到三维人体姿态估计方法，其特征在于：所述步骤(1)中，输入16个二维关节点坐标，经过特征增强模块，将每个关节点的特征由二维升到128维；将16x128维的特征输入到分层图卷积模块，其中每行的128维特征表示一个特定的关节点特征；在分层图卷积模块中，第一层将16个关节点按照五个基元部位分解为五个子特征矩阵，每个子矩阵对应特定的邻接矩阵，然后分别通过特征提取网络块进行特征提取；第二层将四肢分别与躯干拼接，并添加躯干与四肢的连接边，组成新的关节图，再利用特征提取网络块提取特征；第三层将第二层的图融合为上躯干和下躯干，并加上对称性连接边，然后分别提取上躯干和下躯干的特征；第四，五层以整个人体骨架进行特征提取，提取姿态的整体特征；最后一层图卷积输出为预测的三维姿态。

4.根据权利要求3所述的二维到三维人体姿态估计方法，其特征在于：所述步骤(2)中，

令和分别表示节点经过第l层卷积前后的特征，则图卷积的一般形式为公式(1)：

其中表示图G的邻接矩阵，如果有连接关系a_ij＝1，否则a_ij＝0；

I是单位阵，是对角矩阵，其中表示每个节点的度，σ表示激活函数，表示可学习的权重参数；

对角占优的图卷积为公式(2)：

其中表示需要学习的关于边的权重矩阵，⊙表示对应元素相乘；

图卷积主要聚合节点的邻居节点特征，提取的是关节点的局部特征，因此在对角占优的图卷积层后面加入非局部层，以此来平衡局部特征和全局特征；输入的特征矩阵经过三个全连接层将特征数量将为原来的一半，由前两个分支得到相关性矩阵，经过softmax进行标准化；第三个分支乘以相关性矩阵，则输出的每个节点特征都是其他节点特征的加权平均值；最后经过W_z恢复原始维度，并加上输出得到最终的输出，如公式(3)：

y＝W_z(softmax(H^TW_θ^TW_φH)W_gH)+H。

5.根据权利要求4所述的二维到三维人体姿态估计方法，其特征在于：

所述步骤(3)中，平均的人体骨架为公式(4)：

其中s_n表示训练集的第n个人体骨架；表示S中的骨长集合，其中表示S中第i个骨长；对于预测的三维姿态，将其表示为骨长集合和骨向量的集合其中b_i表示预测的姿态的第i个骨长，v_i表示预测的姿态的第i个骨方向；对于三维groundtruth，获取其骨向量的集合其中表示预groundtruth的第i个骨方向；

人体不同的关节拥有不同的运动范围，为了约束网络生成的三维姿态具有合理的关节角度，加入了不同部位之间的角度约束；其中三维groundtruth的第i和第j个部位的夹角定义为公式(5)：

同样地得到预测的姿态的第i和第j个部位之间的夹角θ_ij；

网络的整体目标函数为公式(6)：

其中J_k表示第k个关节点，f(J_k)表示第k个关节点经过网络后的三维预测值，表示第k个关节的三维groundtruth。