[发明专利]基于深度学习和多层次图结构模型的人体姿态估计方法

权利要求书

1.一种基于深度学习和多层次图结构模型的人体姿态估计方法，其特征在于：包括如下步骤：

(1)将传统的人体部件类型重新进行定义，即把人体部件分为组合部件和关节点两种类型；

(2)利用由5层卷积层、2层下采样层和3层全连接层组成的卷积神经网络，对(1)中重新定义的人体部件进行分类和定位，并输出人体各部件的候选坐标：

2a)根据步骤(1)中定义的人体部件类型以及公开数据库中现成的人体各个部件的位置坐标，将包含人体的自然图像裁剪成包含各个人体部件的图像块和包含背景的图像块，作为2c)中卷积神经网络的输入；

2b)建立关于所有人体部件的状态空间S，通过所有人体部件的状态空间S为每个人体部件定义一个全局ID号；

2c)根据2b)所有人体部件的状态空间S以及公开数据库中现成的人体各个部件的位置坐标，对2a)裁剪得到的图像块进行标注，其标注信息包括部件类型、部件的位置坐标以及2b)中的全局ID号；

2d)将2c)带有标注信息的图像块作为卷积神经网络的输入，对该卷积神经网络进行训练，得到训练好的卷积神经网络；

2e)将整幅包含人体的自然图像输入到2d)训练好的卷积神经网络中，对人体各部件以及背景像素进行分类和定位，输出整幅自然图像中人体各部件的候选坐标；

(3)设计多层次图结构模型，其中，第一层，将整个人体作为根节点；第二层，将整个人体分解为三个大的组合部件，第三层，将三个大的组合部件继续分解为小的组合部件；第四层，将小的组合部件分解为其所对应的关节点；

(4)对每一个人体部件，利用(3)设计的多层次图结构模型，计算(2)中卷积神经网络输出的候选坐标属于人体部件最终坐标的所有概率，从中选取该部件的最高概率，将最高概率对应的候选坐标取做该部件的最终坐标，并输出。

2.根据权利要求1所述的方法，其特征在于步骤2b)中建立关于所有人体部件的状态空间S，按如下步骤进行：

2b1)建立一类人体部件的状态空间：

令N表示人体部件的类型个数，c表示输入的图像块中包含的人体部件，j表示第一个与人体部件c直接相连的人体部件，k表示第二个与人体部件c直接相连的人体部件，且c,j,k∈{0,1,…,N}，P_cj表示c与j的连接类型个数，P_ck表示c与k的连接类型个数，M_c表示人体部件c对应的状态空间，其取值根据人体部件c在整个人体中所属的节点类型确定：

当人体部件c是叶子节点，且仅与第一个部件j有直接的连接关系时，则状态空间M_c＝{1,…,P_cj}；

当人体部件c是中间节点，且同时与第一个部件j、第二个部件k都有直接的连接关系时，则状态空间M_c＝{1,…,P_cj}×{1,…,P_ck}；

2b2)根据2b1)得到所有人体部件的状态空间S：

其中，表示人体部件c从0到N取遍所有的人体部件类型的集合。

3.根据权利要求1所述的方法，其特征在于步骤(3)中设计多层次图结构模型，包括如下4层：

第一层，将整个人体作为根节点；

第二层，将整个人体分解为三个大的组合部件，即左半身、右半身、腿；

第三层，将三个大的组合部件继续分解为小的组合部件，即左半身分解为头部和左手臂，右半身分解为头部和右手臂，腿分解为左腿和右腿；

第四层，将小的组合部件进一步分解为其所对应的关节点，即头部分解为头顶和脖子，左手臂分解为左肩、左手肘和左手腕，右手臂分解为右肩、右手肘和右手腕，左腿分解为左臀、左膝和左脚踝，右腿分解为右臀、右膝和右脚踝。

4.根据权利要求1所述的方法，其特征在于步骤(4)中利用多层次图结构模型，计算(2)中卷积神经网络输出的候选坐标属于人体部件最终坐标的所有概率，按如下步骤进行：

4a)利用多层次图结构模型，定义求解人体部件最终坐标的分数函数如下：

F(l,t|I)＝∑U(l_c|I)+∑R(l_c,l_j,t_cj|I)

其中，l是由卷积神经网络输出的人体各部件的候选坐标，t是人体各部件可能出现的所有连接类型，I是一幅包含人体的自然场景图像，U(·)是多层次图结构模型中的似然度观测项，l_c是由卷积神经网络输出人体部件c的候选坐标，R(·)是多层次图结构模型中的结构先验项，l_j是由卷积神经网络输出人体部件j的候选坐标，t_cj是人体部件c与人体部件j的连接类型；

4b)以l,t为自变量，求解分数函数F(l,t|I)的最大值，得到卷积神经网络输出的人体各部件的候选坐标对应的分数；

4c)将人体各部件的候选坐标对应的分数归一化为分数概率，即计算出卷积神经网络输出的候选坐标属于人体部件最终坐标的所有概率。