[发明专利]一种基于计算机视觉的跳绳姿态及个数识别方法

说明书

本发明公开了一种基于计算机视觉的跳绳姿态及个数识别方法，使用ST‑CGN模型对提取了特征的每帧图像的骨架序列拓扑图结构进行训练；并且对ST‑CGN网络提取的特征进行softmax，输出动作分类及置信度，若动作分类输出为跳绳则进行跳绳动作计数；计算标准动作特征向量与当前动作特征向量的余弦相似度，当余弦相似度大于预设阈值时，判定当前动作是标准动作。本发明使用GCN和余弦相似度算法，能够判断跳绳姿态是否正确，并且使用极大值或极小值的方法，可以计算跳绳个数。

技术领域

本发明涉及人体动作分析领域，特别涉及一种基于计算机视觉的跳绳姿态及个数识别方法。

背景技术

跳绳可以同时达到有氧和无氧的运动效果，锻炼多个部分的肌肉，锻炼协调性和平衡感，增强心肺功能。长时间的花样跳绳训练可有效改善少年的骨密度，显著增强力量、爆发力等身体素质。跳绳姿态的识别是指对跳绳的姿态进行识别并于标准姿态进行比对，纠正错误的跳绳姿态。跳绳个数统计是指针对不同的跳绳方法进行个数统计。

现有技术中采用的方法是，通过计算机视觉的方式，在连续视频帧的图像上利用人体关键点识别算法识别出人体关键点，并作为输入通过GCN识别出跳绳动作及姿态，通过与标准姿态做比对，对错误的动作进行预警，避免由于不当的跳绳方式给人体造成的伤害。进一步根据关键点的变化规律实时统计跳绳个数。排除由于人工专注度有限、计数器强依赖于跳绳、声频对于周围环境要求高的缺点。

而GCN算法在非欧几里得结构的数据上能保持平移不变性，GCN的核心基于拉普拉斯矩阵的谱分解。GCN也是一个神经网络层，它的层与层之间的传播方式是：

其中，I是单位矩阵；是的度矩阵；H是每一层的特征，对于输入层的话，H就是X；δ是非线性激活函数。

人体关键点及相邻关系天然形成一种拓扑结构，GCN相比一般CNN能有效提取拓扑图空间特征，人体的一组特定动作(不仅仅是跳绳动作)与各关键点间的关系强相关，通过GCN可以有效提取各类不同动作关键点拓扑图的不同特征，因此应用GCN提取人体关键点特征能获得更高的准确率。

发明内容

本发明的目的在于：提供了一种基于计算机视觉的跳绳姿态及个数识别方法，使用GCN和余弦相似度算法，能够判断跳绳姿态是否正确，并且使用极大值或极小值的方法，可以计算跳绳个数，解决了上述问题。

本发明采用的技术方案如下：

一种基于计算机视觉的跳绳姿态及个数识别方法，包括依次进行的以下步骤：

步骤S1：采集人体跳绳的视频；

步骤S2：对视频中的每一帧进行人体关键点检测获得每帧中人体的18个关键点的坐标位置及坐标的置信度，并依次编号为0，1，…，17；

步骤S3：处理关键点的坐标数据，将关键点坐标归一化到-0.5～0.5；

步骤S4：利用筛选出的T帧关键帧和每帧关键帧中的关键点的坐标及坐标的置信度，构造骨架序列图结构，记骨架序列的时空图为G＝(V，E)，节点V＝{Vti|t＝1，...，T；i＝0，...，n-1}，第t帧的第i个节点的特征向量F(vti)＝{xti，yti，scoreti}，(xti，yti)为第i个关键点处理后的坐标，scoreti为第i个关键点的坐标置信度；

构造两个边集合，一个边集合为空间结构边Es＝{vtivtj|(i,j)∈H}，H是一组自然连接的人体关节以及时间序列，边集合EF＝{vtiv(t+1)i}，vtiv(t+1)i为连续两帧相同关键点连接边，网络的输入维度为(N，C，V，T)，其中N为一个批次的样本量，C为关键点个数18，V为3表示每个关键点处理后的坐标及置信度(x，y，score)，T为关键帧数。

步骤S5：利用空间图卷积和时序卷积提取特征，其中空间图卷积为：