[发明专利]识别动作类别的方法、装置、电子设备及存储介质

权利要求书

1.一种识别动作类别的方法，其特征在于，所述方法包括：

获取连续的多帧图像的骨架数据，其中，每帧图像的骨架数据包括多个关节点位置，所述每帧图像的骨架数据为多个关节点位置组成的关节点位置矩阵；

基于预先训练的特征提取模型，对所述多帧图像的骨架数据，提取特征数据，所述特征数据包括初始特征数据；

基于所述特征数据和预先训练的动作识别模型，确定所述多帧图像对应的动作属性信息，其中，所述动作属性信息包括动作类别；

所述提取特征数据包括：将每帧图像的关节点位置矩阵的转置矩阵，分别与预先训练的系数矩阵相乘，确定相乘得到的每个矩阵的转置矩阵，得到每帧图像的骨架数据对应的初始特征数据。

2.根据权利要求1所述的方法，其特征在于，所述特征数据还包括动态特征数据；

所述基于预先训练的特征提取模型，对所述多帧图像的骨架数据，提取特征数据，包括：

对每两帧相邻图像的骨架数据对应的初始特征数据计算差值，得到多个动态特征数据。

3.根据权利要求1所述的方法，其特征在于，所述动作识别模型包括卷积神经网络模型和柔性最大值传输函数softmax算法模型，所述基于所述特征数据和预先训练的动作识别模型，确定所述多帧图像对应的动作属性信息，包括：

将所述特征数据，输入预先训练的卷积神经网络模型，得到中间向量；

将所述中间向量输入所述softmax算法模型，得到多种动作类别分别与所述多帧图像的匹配概率；

将匹配概率最高的动作类别，确定为所述多帧图像对应的动作类别。

4.根据权利要求1所述的方法，其特征在于，所述动作属性信息还包括动作起始概率和动作结束概率；

所述动作识别模型包括卷积神经网络模型和柔性最大值传输函数softmax算法模型，所述基于所述特征数据和预先训练的动作识别模型，确定所述多帧图像对应的动作属性信息，包括：

将所述特征数据，输入预先训练的卷积神经网络模型，得到第一中间向量；

在所述第一中间向量中去除预设位置的第一数值和第二数值，得到第二中间向量；

将所述第二中间向量输入所述softmax算法模型，得到多种动作类别分别与所述多帧图像的匹配概率；

将匹配概率最高的动作类别，确定为所述多帧图像对应的动作类别，并将所述第一数据和所述第二数据，分别确定为所述动作起始概率和动作结束概率。

5.根据权利要求3或者4所述的方法，其特征在于，所述卷积神经网络模型中包括卷积层、池化层、MaxOut层以及全连接层。

6.根据权利要求1所述的方法，其特征在于，所述获取连续的多帧图像的骨架数据之前，还包括：

获取多个训练样本，其中，每个训练样本包括连续的多帧图像的样本骨架数据和对应的样本动作类别；

基于所述多个训练样本和预设的训练函数，分别对初始特征提取模型和初始动作识别模型进行训练，得到所述特征提取模型和所述动作识别模型。

7.一种识别动作类别的装置，其特征在于，所述装置包括：

获取模块，用于获取连续的多帧图像的骨架数据，其中，每帧图像的骨架数据包括多个关节点位置，所述每帧图像的骨架数据为多个关节点位置组成的关节点位置矩阵；

提取模块，用于基于预先训练的特征提取模型，对所述多帧图像的骨架数据，提取特征数据，所述特征数据包括初始特征数据；

确定模块，用于基于所述特征数据和预先训练的动作识别模型，确定所述多帧图像对应的动作属性信息，其中，所述动作属性信息包括动作类别；

提取模块，还用于将每帧图像的关节点位置矩阵的转置矩阵，分别与预先训练的系数矩阵相乘，确定相乘得到的每个矩阵的转置矩阵，得到每帧图像的骨架数据对应的初始特征数据。

8.根据权利要求7所述的装置，其特征在于，所述特征数据还包括动态特征数据；

所述提取模块，用于：

对每两帧相邻图像的骨架数据对应的初始特征数据计算差值，得到多个动态特征数据。