[发明专利]一种基于人体骨骼点检测的俯卧撑计数方法

权利要求书

1.一种基于人体识别的俯卧撑识别方法，其特征在于：包括以下步骤：

步骤一：获取包含人体俯卧撑图像的图片，在人体俯卧撑图像数据中提取并标记出人体骨骼点位信息从而获得人体骨骼点位数据集；将标记好的俯卧撑图片及其标记的真值数据输入人体骨骼点检测网络中训练获得人体骨骼点检测网络模型，其中人体骨骼点检测网络为基于多尺度融合的人体骨骼点检测网络；

步骤二：通过摄像机拍摄被测者的人体的图像，将获取的人体的图像依照拍摄的顺序输入已经训练好的人体骨骼点检测网络模型；获取出拍摄的图片中的人体骨骼点信息；

步骤三：根据预设的骨骼点的位置信息判断被检测人体骨骼的信号；获取的人体骨骼点信息中包括右肩点，右肘点，右手腕点，左肩点，左肘点，左手腕点，右臀点，右膝盖点，右脚踝点，左臀点，左膝盖点，左脚踝点所在的位置；所述预设的骨骼点的位置信息为被测者的右肩点、右肘点、右手腕点连成的折线的折角大于150度，左肩点、左肘点、左手腕点连成的折线的折角大于150度，右臀点、右膝盖点、右脚踝点连成的折线的折角大于170度，左臀点、左膝盖点、左脚踝点连成的折线的折角大于170度，则判断人体处于伸直状态信号；预设被测者的右肩点、右肘点、右手腕点连成的折线的折角小于30度，左肩点、左肘点、左手腕点连成的折线的折角小于30度，右臀点、右膝盖点、右脚踝点连成的折线的折角大于170度，左臀点、左膝盖点、左脚踝点连成的折线的折角大于170度，则判断人体处于伸直状态信号；

步骤四：如果被测者的人体出现一个连续的拉直和弯曲信号，则判断该人做俯卧撑计数一个。

2.根据权利要求1所述的一种基于人体识别的俯卧撑识别方法，其特征在于：步骤一中获取人体俯卧撑图像数据具体为在网络中获取做俯卧撑的视频和图片；将获取的视频每帧进行裁剪成图像；将裁剪好的图像和原始爬虫获得的图像进行混合后标注出图像中的人，将标记好的人裁剪出来，统一做归一化处理，再进行骨骼点点位标记。

3.根据权利要求1所述的一种基于人体识别的俯卧撑识别方法，其特征在于：所述人体骨骼点检测网络包括主干网络，特征融合网络和输出网络。

4.根据权利要求3所述的一种基于人体识别的俯卧撑识别方法，其特征在于：所述人体骨骼点检测网络的主干网络为使用resnet101作为主干网络，其中resnet101由5个卷积模块组成；resnet101的第一个卷积模块由三个重复的卷积组组成，每个卷积组包含64个1*1卷积层，64个3*3卷积层和256个1*1卷积层；resnet101的第二个卷积模块由四个重复的卷积组组成，每个卷积组包含128个1*1卷积层，128个3*3卷积层和512个1*1卷积层；resnet101的第三个卷积模块由二十三个重复的卷积组组成，每个卷积组包含256个1*1卷积层，256个3*3卷积层和1024个1*1卷积层；resnet101的第四个卷积模块由三个重复的卷积组组成，每个卷积组包含512个1*1卷积层，512个3*3卷积层和2048个1*1卷积层。

5.根据权利要求3所述的一种基于人体识别的俯卧撑识别方法，其特征在于：所述人体骨骼点检测网络的特征融合网络为通过将三倍降采样，四倍降采样，五倍降采样尺度的特征图融合实现高低层融合结构；对于三倍降采样，首先对三倍降采样层进行步长为2的3*3卷积操作实现降采样然后1*1卷积层实现通道增倍，使其通道数和维度都和四倍降采样层一样，对于五倍降采样层，通过首先通过1*1卷积使其通道数降低为原来的一半，再通过上采样实现特征层大小增倍；将三个尺度得到的特征层进行连接，最后将连接得到的特征层经过3*3卷积后生成特征层A；分别将特征层A分别进行1*1卷积，3*3卷积和1*1卷积生成特征层B，将特征层A通过1*1卷积和2个全连接层生成特征层C，将A和C相乘获得热点图D。

6.根据权利要求5所述的一种基于人体识别的俯卧撑识别方法，其特征在于：所述人体骨骼点检测网络的输出层通过热点图D实现输出关键点坐标和坐标分类实现关键点的关键点的输出，预测损失函数使用的是MSE loss 分类使用的是互熵损失。