[发明专利]一种二维到三维人体姿态估计方法

说明书

一种二维到三维人体姿态估计方法，其能够克服三维标注数据的不足以及背景、灯光、服装形状和纹理、肤色等条件的影响，并从多尺度中提取特征，促进不同姿态之间的相互学习，得到更加准确的三维姿态。该方法包括：(1)分层图卷积网络；(2)结合对角占优图卷积层和非局部层的特征提取网络块；(3)人体几何约束。

技术领域

本发明涉及计算机视觉和模式识别的技术领域，尤其涉及一种二维到三维人体姿态估计方法。

背景技术

基于计算机视觉技术的三维人体姿态估计在人类生活的众多领域得到广泛应用，如计算机动画、医学、人机交互，行为识别等领域。基于神经网络技术的快速发展，从RGB图像估计三维人体姿态，不仅消除了对RGB-D传感器(如Kinect)的依赖，并且获得了性能上的明显提升，成为当前研究热点。

目前存在的基于图像的三维人体姿态估计主要分为两类：1)从图像中直接估计三维人体姿态；2)从图像先估计二维姿态，再回归出三维姿态。前者受限于有限的实验标注数据，并受到背景场景、灯光、服装形状和纹理、肤色等条件的影响。后者将整个任务分解为二维关节点检测和从二维关节点回归出三维姿态两个子任务。二维姿态检测拥有大量的训练标注数据，已经取得很好的精度。从二维关节点回归三维关节，虽然避免了背景，纹理等因素的影响，但是一个二维姿态往往可以对应多个三维姿态，这使得很难推断出唯一有效的解决方案，特别是对于严重遮挡的情况。

近年来的研究表明，二维姿态中含有丰富的三维信息，仅使用二维姿态可以估计出较高精度的三维姿态。但是由于深度模糊和严重的自聚焦，从二维姿态中挖掘出有用的三维信息，从而得到更具鲁棒性和通用性的模型依旧是一项具有挑战性的任务。现有的方法试图从完整的二维姿态提取特征，并回归出三维姿态。但是，不同的动作对应的姿态之间存在着不同粒度下的相似性和区别。例如站立和挥手两个动作对应的二维姿态只有手臂存在不同。如果只提取全局姿态特征，会使得只存在人体部件级别不同的姿态很难区分，也不利于不同姿态之间的相互学习。因此，构建多尺度，多层次的特征提取模型更有利于模型的鲁棒性和通用性。另一方面，合理的姿态必须满足人体几何约束，例如关节长度以及方向约束。这促使我们探索更加合理，鲁棒，更具普适性的网络模型来有效的探索二维到二维的空间相关性。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种二维到三维人体姿态估计方法，其能够克服三维标注数据的不足以及背景、灯光、服装形状和纹理、肤色等条件的影响，并从多尺度中提取特征，促进不同姿态之间的相互学习，得到更加准确的三维姿态。

本发明的技术方案是：这种二维到三维人体姿态估计方法，该方法包括以下步骤：

(1)分层图卷积网络：包括特征增强模块和分层图卷积模块；特征增强模块由3层全连接层组成，其中后两层组成了一个残差块，通过网络从二维坐标中挖掘出关节坐标之间的潜在关系，以此来增强人体的特征表示；分层图卷积模块有6层，每层对应着当前粒度下的人体模型划分，通过统一的特征提取网络块提取人体不同粒度的特征，并通过层次化的融合，从而得到更好的特征；

(2)结合对角占优图卷积层和非局部层的特征提取网络块：在每一个粒度的人体骨架上利用对角占优图卷积层和非局部层进行特征提取；

(3)人体几何约束：在位置损失的基础上，加入人体几何约束，使得预测的三维姿态加合理；人体几何约束包括骨长比值约束以及骨方向夹角约束；预测的三维姿态应该满足人体各部位长度的比值固定，为了获得一个合理的人体骨架统一模型，利用训练数据集得到一个平均的人体骨架当作统一模板。