[发明专利]视频动作分类的方法、装置、计算机设备和存储介质

说明书

本公开是关于一种视频动作分类的方法、装置、计算机设备和存储介质，属于机器学习模型技术领域。所述方法包括：获取待分类视频，确定待分类视频中的多个视频帧；将多个视频帧输入到训练后的优化视频动作分类模型中的光流替代模块中，得到多个视频帧对应的光流特征信息；将多个视频帧输入到训练后的优化视频动作分类模型中的三维卷积神经模块中，得到多个视频帧对应的空间特征信息；基于光流特征信息和空间特征信息，确定待分类视频对应的分类类别信息。采用本公开，可以将待分类视频的多个视频帧直接作为模型中的光流替代模块的输入，光流替代模块可以直接提取待分类视频的多个视频帧对应的光流特征信息，进一步提高了分类处理的效率。

技术领域

本公开是关于机器学习模型技术领域，尤其是关于一种视频动作分类的方法、装置、计算机设备和存储介质。

背景技术

随着社会的发展，越来越多的用户喜欢利用碎片时间观看或者拍摄短视频。当任一用户将拍摄的短视频上传到短视频平台时，短视频平台中的相关人员可以查看短视频，并根据主观意念对短视频中的对象的动作进行分类，如跳舞、爬树、喝水等。接着，相关人员可以根据分类结果为短视频添加对应的标签。

在实现本公开的过程中，发明人发现至少存在以下问题：

由于短视频平台接收到的短视频的数量巨大，如果通过人工的方式为每一个短视频中的对象的动作进行分类，则会导致分类操作的效率极低。

发明内容

为克服相关技术中存在的问题，本公开提供一种视频动作分类的方法和装置：

根据本公开实施例的第一方面，提供一种视频动作分类的方法，所述方法包括：

获取待分类视频，确定待分类视频中的多个视频帧；

将多个视频帧输入到训练后的优化视频动作分类模型中的光流替代模块中，得到多个视频帧对应的光流特征信息；

将多个视频帧输入到训练后的优化视频动作分类模型中的三维卷积神经模块中，得到多个视频帧对应的空间特征信息；

基于光流特征信息和空间特征信息，确定待分类视频对应的分类类别信息。

可选地，方法还包括：

基于训练样本，对视频动作分类模型进行训练，其中，训练样本包括多组视频帧以及每组视频帧对应的标准分类类别信息，视频动作分类模型包括三维卷积神经模块和光流模块；

将多组视频帧分别输入到训练后的光流模块，确定每组视频帧对应的参考光流特征信息；

基于训练后的三维卷积神经模块、预设的光流替代模块和预设的分类器模块，建立优化视频动作分类模型；

基于多组视频帧、每组视频帧对应的标准分类类别信息和参考光流特征信息，对优化视频动作分类模型进行训练，得到训练后的优化视频动作分类模型。

可选地，基于多组视频帧、每组视频帧对应的标准分类类别信息和参考光流特征信息，对优化视频动作分类模型进行训练，包括：

将多组视频帧分别输入到光流替代模块，得到每组视频帧对应的预测光流特征信息；

基于每组视频帧对应的参考光流特征信息和预测光流特征信息，确定每组视频帧对应的光流损失信息；

将多组视频帧分别输入到训练后的三维卷积神经模块，得到每组视频帧对应的参考空间特征信息；

将每组视频帧对应的预测光流特征信息和参考空间特征信息，输入到分类器模块，确定每组视频帧对应的预测分类类别信息；

基于每组视频帧对应的标准分类类别信息和预测分类类别信息，确定每组视频帧对应的分类损失信息；