[发明专利]一种基于RGBD相机姿态估计的引体向上计数方法

权利要求书

1.一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于，包括以下步骤：

S1：采集RGB和Depth图像，并对RGB和Depth图像进行处理得到抑制掉大部分背景信息的图像；

S2：将处理后的RGB和Depth图像输入至mobile net系列网络结构模型中进行有效的融合，输出关键点置信度图和部分亲和场图；通过积分函数评估两个关键点之间的相关性，将各人的关节点进行连接，得到图像中所有人的姿态骨架图；

S3：根据姿态骨架图中骨骼关键点的信息提取引体向上运动参数；

S4：根据运动参数判断是否进行引体向上动作，如果是，则进行引体向上计数。

2.根据权利要求1所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：步骤S1中对RGB和Depth图像进行处理的步骤包括,

S11:利用具有时空一致性的RGBD相机，采集RGB和Depth图像，分别对RGB和Depth图像做背景分割；

具体令RGB图像某像素点坐标为X_R(i,j)，对应的深度图像素点坐标为X_D(i,j)，根据深度图的分辨率生成一个掩码图，该掩码图对应像素点坐标为X_M(i,j)，根据场景复杂度设计一个可控阀值δ，如将人物活动的范围作为阀值标准，对掩码图进行二值化操作优化；

S12：将优化后的掩码图分别与RGB和Depth图像进行点乘，抑制掉RGB和Depth图像中大部分的背景信息。

3.根据权利要求1所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：步骤S2中得到所有人的姿态骨架图的步骤包括，

S21:将处理后的RGB和depth图像通过mask之后,分别通过两个分支的网络得到RGB_f和Depth_f；同时学习一个1x2的权重向量[W_D,W_R],分别表示RGB和Depth模态的权重,将模态权重[W_D,W_R]分别与RGB_f和Depth_f相乘,然后进行RGB和Depth特征图的融合，得到融合后的特征；

S22:将融合后的特征输入到stage1网络结构中,每个stage的输出有两个分支,两个分支分别输出关键点置信图和关键点的亲和场,stage n的输入为stage n-1的输出；

S23:得到亲和场和关键点的位置后，通过积分函数评价两关键点的相关性；

S24:利用匈牙利算法求得相邻关键点的最优匹配，得到图像中所有人的姿态骨架图。

4.根据权利要求3所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：所述mobile net系列网络结构模型中每个阶段均采用3×3和1×1的卷积层，并使用空洞卷积增加网络的感受野。

5.根据权利要求3所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：通过最大化操作得到真值置信图，在测试时，通过最大化操作得到关键点的位置，并利用非极大值抑制排除冗余关键点。

6.根据权利要求3所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：每个阶段分支上在输出时都添加有损失函数，所述损失函数均用L2范数进行约束。

7.根据权利要求3所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：所述mobile net系列网络结构模型用NAS(Neural Architecture Search)搜索的方法来权衡网络的精度和速度。

8.根据权利要求1所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：步骤S3中步骤中所述引体向上运动参数包括：头部位置变化特征、手臂位置变化特征；所述头部位置变化特征指的是在运动的过程中头部高度变化情况，通过鼻子、耳朵、眼睛的三个关键点位置变化来估算；

所述手臂变化特征指在做引体向上过程中，手臂弯曲变化情况，通过手腕、手肘以及肩膀三个关键点位置变化来估算。

9.根据权利要求8所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：所述手臂弯曲变化情况通过判断手腕到肩膀的连线长度是否大于0.9倍的手肘到手腕和手肘到肩膀的长度之和。