[发明专利]一种视频分类的方法、模型训练的方法及装置

说明书

本申请公开了一种视频分类的方法，包括：获取待分类视频文件所对应的图像帧序列，其中，图像帧序列中包括T帧图像；通过图像分类网络模型获取图像帧序列所对应的外观信息特征序列，外观信息特征序列中包括T个外观信息特征，外观信息特征与图像帧具有对应关系；通过运动预测网络模型获取外观信息特征序列所对应的运动信息特征序列，运动信息特征序列包括T个运动信息特征，运动预测网络模型用于预测外观信息特征所对应的运动信息特征；根据外观信息特征序列以及运动信息特征序列确定待分类视频文件的视频分类结果。本申请还提供一种模型训练的方法以及装置。本申请能够节省计算时间和资源，从而提升了数据处理的效率。

技术领域

本申请涉及人工智能领域，尤其涉及一种视频分类的方法、模型训练的方法及装置。

背景技术

视频分类是指给定一个视频片段，对其中包含的内容进行分类。视频类别通常包括动作(比如做蛋糕)、场景(比如海滩)以及物体(比如桌子)等。其中，又以视频动作分类最为热门，毕竟动作本身就包含动态的因素，不是静态的图像所能描述的，因此，基于运动特征对视频进行分类是很常见的。

目前，通常使用的视频分类技术主要是，首先对于从视频红绿蓝(red greenblue，RGB)图像中提取的外观信息特征进行分类，然后进一步利用从光流图像中提取的运动信息特征来提升视频分类的性能。在提取运动信息特征的过程中，需要根据连续两帧或多帧的视频RGB图片计算光流图像，进而利用卷积神经网络或其他方法获得视频的运动信息特征。

然而，在现有方案中需要根据至少两帧RGB图像对光流图像进行计算，对于视频而言，以24帧每秒的分辨率计算，短视频通常包含15秒以上的内容，而长视频常会长达几十分钟。因此，需要大量的时间和空间对光流图像进行计算，以获得视频的光流图像表示，从而导致数据处理的效率较低，且占用的计算资源和存储资源较多。

发明内容

本申请实施例提供了一种视频分类的方法、模型训练的方法及装置，能够实现对视频的自动分类，无需根据视频的外观信息特征计算光流图像，以利用光流图像计算运动信息特征。而是直接通过运动预测网络模型即可获取外观信息特征对应的运动信息特征，由此节省了计算时间和资源，从而提升了数据处理的效率。

有鉴于此，本申请第一方面提供一种视频分类的方法，包括：

获取待分类视频文件所对应的图像帧序列，其中，所述图像帧序列中包括T帧图像，所述T为大于1的整数；

通过图像分类网络模型获取所述图像帧序列所对应的外观信息特征序列，其中，所述外观信息特征序列中包括T个外观信息特征，所述外观信息特征与所述图像帧具有对应关系；

通过运动预测网络模型获取所述外观信息特征序列所对应的运动信息特征序列，其中，所述运动信息特征序列包括T个运动信息特征，所述运动信息特征与所述外观信息特征具有对应关系，所述运动预测网络模型用于预测所述外观信息特征所对应的所述运动信息特征；

根据所述外观信息特征序列以及所述运动信息特征序列确定所述待分类视频文件的视频分类结果。

本申请第二方面提供一种模型训练的方法，包括：

获取待训练视频文件所对应的光流图序列，其中，所述光流图序列中包括多个光流图；

获取所述待训练视频文件所对应的待训练外观信息特征序列，其中，所述待训练外观信息特征序列包括多个待训练外观信息特征；

根据所述待训练视频文件所对应的所述光流图序列，获取真实运动信息特征序列，其中，所述真实运动信息特征序列包括T个真实运动信息特征，所述T为大于1的整数；

通过待训练运动预测网络模型获取所述待训练外观信息特征序列所对应的预测运动信息特征序列，其中，所述预测运动信息特征序列包括T个预测运动信息特征；