[发明专利]视频动作识别方法、装置、电子设备及存储介质

权利要求书

1.一种视频动作识别方法，其特征在于，包括：

从目标视频帧序列中确定第一数据，所述第一数据是基于所述目标视频帧序列中的多个连续视频帧得到的；

将所述第一数据输入预先训练的第一识别模型，得到所述目标视频帧序列的第一识别结果；其中，所述第一识别模型用于识别动作特征；

从所述目标视频帧序列中确定第二数据，所述第二数据是基于所述多个连续视频帧中的单个视频帧得到的；

将所述第二数据输入预先训练的第二识别模型，得到所述目标视频帧序列的第二识别结果；其中，所述第二识别模型用于识别外观特征；

根据所述第一识别结果以及所述第二识别结果，确定所述目标视频帧序列中所包含动作的类别。

2.根据权利要求1所述的视频动作识别方法，其特征在于，所述从目标视频帧序列中确定第一数据，包括：

从所述目标视频帧序列中选取多个连续的RGB帧；

为所述多个连续的RGB帧中的相邻RGB帧求差值，得到由多个相邻残差帧组成的堆叠残差帧；

根据所述堆叠残差帧，获取所述第一数据。

3.根据权利要求2所述的视频动作识别方法，其特征在于，所述根据所述堆叠残差帧，获取所述第一数据，包括：

将所述堆叠残差帧作为所述第一数据；和/或，

对所述堆叠残差帧进行随机裁剪和随机水平翻转处理，并将处理结果作为所述第一数据。

4.根据权利要求1所述的视频动作识别方法，其特征在于，

所述第一识别模型是基于3D卷积神经网络训练得到的；和/或，

所述第二识别模型是基于2D卷积神经网络模型训练得到的。

5.根据权利要求4所述的视频动作识别方法，其特征在于，所述3D卷积神经网络包括残差模块，所述残差模块包括最大池化层与卷积层。

6.根据权利要求1所述的视频动作识别方法，其特征在于，所述根据所述第一识别结果以及所述第二识别结果，确定所述目标视频帧序列中所包含动作的类别，包括：

采用平均值融合方法将所述第一识别结果与第二识别结果进行融合，确定所述目标视频帧序列中所包含动作的类别。

7.根据权利要求1-6任一项所述的视频动作识别方法，其特征在于，方法还包括：

从样本视频帧序列中确定第三数据；

对所述样本视频帧序列所包含的动作进行标记，得到所述样本视频帧序列的动作类别信息；

将所述样本视频帧序列中的第三数据作为训练使用的输入数据，将所述样本视频帧序列的动作类别信息作为标签，采用3D卷积神经网络进行训练，得到用于识别目标视频帧序列所包含动作的动作类别的第一识别模型；

以及，

从样本视频帧序列中确定第四数据；

将所述样本视频帧序列中的第四数据作为训练使用的输入数据，将所述样本视频帧序列的动作类别信息作为标签，采用2D卷积神经网络进行训练，得到用于识别目标视频帧序列所包含动作的动作类别的第二识别模型。

8.一种视频动作识别装置，其特征在于，包括：

第一数据确定模块，用于从目标视频帧序列中确定第一数据，所述第一数据是基于所述目标视频帧序列中的多个连续视频帧得到的；

第一识别结果生成模块，用于将所述第一数据输入预先训练的第一识别模型，得到所述目标视频帧序列的第一识别结果；其中，所述第一识别模型用于识别动作特征；

第二数据确定模块，用于从所述目标视频帧序列中确定第二数据，所述第二数据是基于所述多个连续视频帧中的单个视频帧得到的；

第二识别结果生成模块，用于将所述第二数据输入预先训练的第二识别模型，得到所述目标视频帧序列的第二识别结果；其中，所述第二识别模型用于识别外观特征；

识别结果确定模块，用于根据所述第一识别结果以及所述第二识别结果，确定所述目标视频帧序列中所包含动作的类别。