[发明专利]一种人体运动姿态识别评价方法及其系统

权利要求书

1.一种人体运动姿态识别评价方法，其特征在于，包括以下步骤：

S01：采集视频图像测试数据集，将视频图像测试数据集中的数据进行数据处理；

S02：将数据处理后的测试数据输入训练后的LSTM神经网络模型中进行人体运动姿态的识别，输出识别结果；

S03：将输出的识别结果与标准运动数据进行对比，根据对比的结果对所识别出的人体运动姿势的标准程度进行评价；

其中，所述LSTM神经网络模型的训练过程包括以下步骤：

S11：获取视频图像样本数据集；

S12：将所述视频图像样本数据集中的样本数据输入LSTM神经网络模型中，在神经网络模型的目标函数中引入对关节点和神经元相连的权重的约束，根据权重的大小分别针对不同帧和不同关节点的数据进行分类，完成基于内容类型对不同帧和不同关节点重要性进行分配的学习；

S13：将得到的分类结果进行反向传播实现权重的更新，并循环执行S12中的内容。

2.根据权利要求1所述的一种人体运动姿态识别评价方法，其特征在于，S01中的数据处理内容包括：对所采集到的视频图像样本数据集进行时域分割和内容类型判断；并将分割后的视频序列进行预处理，得到RGB图像和视频帧的光流。

3.根据权利要求2所述的一种人体运动姿态识别评价方法，其特征在于，S02的具体内容包括：

(1)提取时间流特征和空间流特征，提取时空信息形成固定长度的特征向量，并提取视频帧的深度特征，同时利用时空特征融合策略融合所提取到的所有特征；

(2)根据序列内容类型，将融合后的特征向量进行空域注意力计算和时域注意力计算，分别得到空域特征和时域特征；

(3)将步骤(1)和步骤(2)中得到的特征进行融合，得到分类结果，完成人体动作识别。

4.一种人体运动姿态识别评价系统，其特征在于，包括：图像采集模块、数据处理模块、LSTM神经网络模型、模型训练模块、数据中心和姿态评价模块；

所述图像采集模块，用于采集视频图像测试数据集；

所述数据处理模块，用于对所采集到的视频图像测试数据集进行数据处理；

所述LSTM神经网络模型，用于将数据处理后的测试数据输入训练后的LSTM神经网络模型中进行人体运动姿态的识别，输出识别结果；

所述模型训练模块，用于所述LSTM神经网络模型进行训练；

所述数据中心，用于存储标准运动数据；

所述姿态评价模块，用于调取所述数据中心中的标准运动数据，并将输出的识别结果与标准运动数据进行对比，得到所识别出的人体运动姿势的标准程度的评价结果。

5.根据权利要求4所述的一种人体运动姿态识别评价系统，其特征在于，所述数据处理模块具体用于对所采集到的视频图像样本数据集进行时域分割和内容类型判断；并将分割后的视频序列进行预处理，得到RGB图像和视频帧的光流。

6.根据权利要求4所述的一种人体运动姿态识别评价系统，其特征在于，所述LSTM神经网络模型包括LSTM主网络、空域注意力子网络、时域注意力子网络和特征融合模块；

所述LSTM主网络，用于提取时间流特征和空间流特征，提取时空信息形成固定长度的特征向量，并提取视频帧的深度特征，同时利用时空特征融合策略融合所提取到的所有特征；

所述空域注意力子网络，用于针对不同内容类型来自动学习对不同关节点重要性进行分配，并在识别的过程中进行空域注意力计算，得到空域特征；

所述时域注意力子网络，用于针对不同内容类型来自动学习对不同帧重要性进行分配，并在识别的过程中进行时域注意力计算，得到时域特征；

所述特征融合模块，用于控制特征进行融合，得到最终分类结果。

7.根据权利要求6所述的一种人体运动姿态识别评价系统，其特征在于，所述模型训练模块具体用于获取视频图像样本数据集，将所述视频图像样本数据集中的样本数据输入LSTM神经网络模型中，在神经网络模型的目标函数中引入对关节点和神经元相连的权重的约束，并进一步控制所述空域注意力子网络和所述时域注意力子网络完成对不同关节点和不同帧的重要性分配的学习。