[发明专利]视频分类方法、介质、装置和计算设备

说明书

本发明的实施方式提供了视频分类方法、介质、装置和计算设备。该方法包括：分别获取视频帧序列的表征特征和运动特征；对表征特征和运动特征进行第一运算，得到补充了运动特征的表征特征；根据补充了运动特征的表征特征，对视频帧序列的类别进行预测。本发明实施例能够提高视频分类的准确率。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

视频动作识别是对一段包含单一动作行为的视频片段进行分类的技术。深度学习技术可以应用于视频动作识别领域，这些深度学习方法所使用的网络结构及识别技术主要分为两类，即采用双流法及两条并行的卷积神经网络(CNN，Convolutional NeuralNetworks)进行识别、以及采用三维(3D)CNN进行识别。

双流法通常将彩色图像(RGB图像)数据和抽取到的光流数据输入到两条并行的CNN网络，用于分别提取表征(Appearance)信息和运动(Motion)信息。由于光流数据的计算耗时较长且需要占用额外的存储空间，同时也不支持端到端的训练，使得双流法对视频识别或分类的准确率较低。

发明内容

本发明期望提供视频分类方法和装置，以至少解决上述一种技术问题。

在本发明实施方式的第一方面中，提供了一种视频分类方法，包括：

分别获取视频帧序列的表征特征和运动特征；

对所述表征特征和运动特征进行第一运算，得到补充了运动特征的表征特征；

根据所述补充了运动特征的表征特征，对所述视频帧序列的类别进行预测。

在本发明的一个实施例中，所述采用解码网络进行所述第一运算，所述解码网络包括第一级Transformer结构；

所述对所述表征特征和运动特征进行第一运算，得到补充了运动特征的表征特征，包括：将所述表征特征作为所述第一级Transformer结构的查询(Query)，并将所述运动特征分别作为所述第一级Transformer结构的键(Key)和值(Value)，采用所述第一级Transformer结构进行计算，得到所述补充了运动特征的表征特征。

在本发明的一个实施例中，所述解码网络还包括至少一个后续级Transformer结构，所述第一级Transformer结构与各个所述后续级Transformer结构依次连接；

所述对所述表征特征和运动特征进行第一运算，得到补充了运动特征的表征特征，还包括：针对任意一个所述后续级Transformer结构，将前一级Transformer结构的计算结果作为所述后续级Transformer结构的Query，并将所述运动特征分别作为所述后续级Transformer结构的Key和Value，采用所述后续级Transformer结构进行计算；将最后一个所述后续级Transformer结构的计算结果作为所述补充了运动特征的表征特征。

在本发明的一个实施例中，还包括：

对所述第一级Transformer结构/后续级Transformer结构的计算结果进行层归一化处理；

将层归一化处理之后的结果进行语义特征转换；

将语义特征转换之后的结果通过残差结构与所述层归一化处理之后的结果相加，所述残差结构中包含随机失活(Dropout)层；

将通过残差结构相加之后的结果进行层归一化处理，采用处理结果更新所述第一级Transformer结构/后续级Transformer结构的计算结果。

在本发明的一个实施例中，分别获取视频帧序列的表征特征和运动特征，包括：

分别获取所述视频帧序列的表征信息数据和运动信息数据；