[发明专利]一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法

权利要求书

1.一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，包括以下步骤：

S1：实时提取运动员的人物图像、运动姿态序列、光流数据；

S2：将人物图像送入双流网络的空间流网络中，获取运动员空间特征；

S3：将运动姿态序列作为有向图传入多层的图卷积神经网络中，获得运动员运动时的姿态时空特征；

运动姿态时空特征经过图卷积运算得到，所述图卷积运算公式如下：

其中，、代表人体姿态关节点，和代表输入和输出图像，和代表关节点间的权重和重构后的权重，是指利用关节点来给其他节点赋予数字标签，所述数字标签依赖于两个关节点之间的最短路径，是正则化项；，其中D设为常数1，是两个关节点之间的最短路径；

S4：将每一帧光流数据先经过卷积神经网络提取特征后再送入时间关系网络，获取运动员的光流运动信息特征；

获取运动员光流运动信息特征过程为：

利用卷积神经网络中的ResNet基线网络对光流序列的每一帧光流进行建模，然后对建模后的每一帧光流进行特征之间的融合；

将特征融合后的光流序列送入时间关系网络中按照不同的帧数分组，每一组中的光流的序号从小到大排序；

对每一组光流序列进行建模，得到帧间时间关系特征，然后再融合相同组别的帧间时间关系特征，得到段间时间关系特征；

将所有段间时间关系特征通过相加，得到包含有时间推理信息的整体运动员光流运动信息特征；

S5：分别将步骤S1、 S2 、S3得到的三种特征两两配对，得到三种聚合特征；

S6：将三种聚合特征分别送入卷积神经网络中，得到三种融合特征；

S7：将三种融合特征加权融合得到最终的整体人体多模态融合运动特征；

S8：将整体人体多模态融合运动特征送入全连接网络中得到最终的动作分类识别结果。

2.根据权利要求1所述的一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，步骤S1中，通过视频截帧获取运动员人物图像，通过OpenPose获取运动员运动姿态，通过DenseFlow获取运动员光流数据。

3.根据权利要求1所述的一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，步骤S2是将人物图像送入双流网络的空间流网络中，对人物图像的空间信息进行建模，得到运动员的人物空间特征。

4.根据权利要求1所述的一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，步骤S3是将运动姿态序列作为有向图传入多层的图卷积神经网络中，对运动员的运动姿态序列进行建模，得到运动员的运动姿态时空特征。

5.根据权利要求1所述的一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，步骤S6中将三种聚合特征分别送入卷积神经网络中，每一种聚合特征含有一个特征对，卷积神经网络对每一个特征对建模融合得到三种融合特征。

6. 根据权利要求1所述的一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，所述的全连接网络对输入的人体多模态融合运动特征进行动作识别分类 ，判断出运动员是否有犯规动作。

7.根据权利要求1所述的一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，获取运动姿态序列的过程包括：

获取运动图像序列，将图像序列的每一张图片经过VGG19网络，得到图像特征；

根据图像特征分别获取运动员身体每个关节点的关节点置信度和关节点间的亲和度向量；

利用关节点置信度和关节点间的亲和度向量对关节点进行聚类并进行骨架拼接得到运动员的运动姿态序列。

8.根据权利要求1所述的一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，所述人物图像为RGB图像。