[发明专利]一种基于RGBD相机姿态估计的引体向上计数方法

说明书

本发明公开了一种基于RGBD相机姿态估计的引体向上计数方法，采集RGB和Depth图像，并对RGB和Depth图像进行处理得到抑制掉大部分背景信息的图像；将处理后的RGB和Depth图像输入至mobi le net系列网络结构模型中进行有效的融合，输出关键点置信度图和部分亲和场图；通过积分函数评估两个关键点之间的相关性，将各人的关节点进行连接，得到图像中所有人的姿态骨架图；根据姿态骨架图中骨骼关键点的信息提取引体向上运动参数；根据运动参数判断是否进行引体向上动作，如果是，则进行引体向上计数。本发明能够适应各种运动场景，通过Depth信息分割掉背景信息，计数机制更加鲁棒，计数更加精确，同时提升了计算的效率。

技术领域

本发明涉及一种人体向上计数方法，特别涉及一种基于RGBD相机姿态估计的引体向上计数方法。

背景技术

引体向上要求有一定的握力和上肢力量，这个力量必须克服自身的体重才能完成一次，引体向上对发展上肢悬垂力量、肩带力量和握力有重要作用，因此，引体向上是健身和锻炼最为常见的项目之一，为了科学有效的健身与锻炼，在做引体向上项目时，需要对引体向上进行有效的计数。

目前引体向上计数的方法有人工计数，这种计数方法依靠计数人员的主观判断，在模棱两可的情况下容易出错，另外也浪费人力；

中国发明专利授权公告号CN105879358B，授权公告日2018年08月28日，专利名称《引体向上成绩测试仪》，该方法采用拉线式位移传感器，这种方法要求被测者穿戴相应的设备，给被测者带来不便，另外需要装置上下杠感知单元，设计较为复杂；

中国发明专利公开号CN 107122798A，公开日2017年09月01日，专利名称《基于深度卷积网络的引体向上计数检测方法及装置》，该方法公开了一种利用深度学习进行引体向上的计数，该方法存在两方面的问题，一是，采集的数据比较多，需要采集大量的鼻子过杆，头部过杆但鼻子未过杆等数据，需要对数据进行标注，需要投入大量的人力物力，二是，对模棱两可的情况不能很好的处理。

中国发明专利公开号CN 111282248A，公开日2020年06月16日，专利名称《一种基于骨骼和人脸关键点的引体向上检测系统及方法》，该方法通过采用单帧大臂和小臂之间的夹角来计数，该方法存在两个问题：一是，当有某个关键点检测失败之后，这些计数机制则失败，造成计数误差。二是，当RGB图像出现多人时，会检测出所有人的关键点信息，多人关键点信息会相互影响，造成计数不精确；同时检测多人的关键点信息也会带来一定的时延。

所以有必要提出一种新的方案，基于RGBD相机姿态估计的引体向上计数方法，该方法通过获取RGB和Depth图像，并对RGB和Depth图像进行处理，将处理后的RGB和Depth图像输入至网络模型中获得图像中所有人的姿态骨架图，根据姿态骨架图设计引体向上相应的动作逻辑机制，进行引体向上计数的方案。

发明内容

针对目前引体向上计数出现的问题，本发明提供了一种基于RGBD相机姿态估计的引体向上计数方法，结合RGBD图像的互补特性进行网络结构的设计，使得网络能够自适应的融合RGB和Depth图像的特征，网络同时回归人体骨骼关键点和进行关键点的关联，得到人体姿态骨架图，然后对检测的关键点进行逻辑判断和对比，设计引体向上逻辑和动作，并进行引体向上计数。

根据本发明的目的提供了一种基于RGBD相机姿态估计的引体向上计数方法，包括以下步骤：

S1：采集RGB和Depth图像，并对RGB和Depth图像进行处理得到抑制掉大部分背景信息的图像；

S2：将处理后的RGB和Depth图像输入至mobile net系列网络结构模型中进行有效的融合，输出关键点置信度图和部分亲和场图；通过积分函数评估两个关键点之间的相关性，将各人的关节点进行连接，得到图像中所有人的姿态骨架图；

S3：根据姿态骨架图中骨骼关键点的信息提取引体向上运动参数；