[发明专利]基于深度学习和多层次图结构模型的人体姿态估计方法

摘要

本发明公开了一种基于深度学习和多层次图结构模型的人体姿态估计方法，主要解决人体姿态估计精度较低的问题。其包含：1)重新定义人体部件，将人体部件分为组合部件和关节点两种类型；2)利用卷积神经网络对人体部件进行分类和定位，并输出人体各部件的候选坐标；3)设计多层次图结构模型；4)对每一个人体部件，利用设计的多层次图结构模型，计算卷积神经网络输出的候选坐标属于人体部件最终坐标的所有概率，从中选取该部件的最高概率，将最高概率对应的候选坐标取做该部件的最终坐标，并输出，得到人体的姿态估计结果。实验结果表明，本发明能获得高精度的人体姿态估计结果，可用于行为识别、人机交互、运动分析领域中对人体姿态的估计。

主权项

1.一种基于深度学习和多层次图结构模型的人体姿态估计方法，其特征在于：包括如下步骤：(1)将传统的人体部件类型重新进行定义，即把人体部件分为组合部件和关节点两种类型；(2)利用由5层卷积层、2层下采样层和3层全连接层组成的卷积神经网络，对(1)中重新定义的人体部件进行分类和定位，并输出人体各部件的候选坐标：2a)根据步骤(1)中定义的人体部件类型以及公开数据库中现成的人体各个部件的位置坐标，将包含人体的自然图像裁剪成包含各个人体部件的图像块和包含背景的图像块，作为2c)中卷积神经网络的输入；2b)建立关于所有人体部件的状态空间S，通过所有人体部件的状态空间S为每个人体部件定义一个全局ID号；2c)根据2b)所有人体部件的状态空间S以及公开数据库中现成的人体各个部件的位置坐标，对2a)裁剪得到的图像块进行标注，其标注信息包括部件类型、部件的位置坐标以及2b)中的全局ID号；2d)将2c)带有标注信息的图像块作为卷积神经网络的输入，对该卷积神经网络进行训练，得到训练好的卷积神经网络；2e)将整幅包含人体的自然图像输入到2d)训练好的卷积神经网络中，对人体各部件以及背景像素进行分类和定位，输出整幅自然图像中人体各部件的候选坐标；(3)设计多层次图结构模型，其中，第一层，将整个人体作为根节点；第二层，将整个人体分解为三个大的组合部件，第三层，将三个大的组合部件继续分解为小的组合部件；第四层，将小的组合部件分解为其所对应的关节点；(4)对每一个人体部件，利用(3)设计的多层次图结构模型，计算(2)中卷积神经网络输出的候选坐标属于人体部件最终坐标的所有概率，从中选取该部件的最高概率，将最高概率对应的候选坐标取做该部件的最终坐标，并输出。