[发明专利]视频分类方法、介质、装置和计算设备

权利要求书

1.一种视频分类方法，其特征在于，包括：

分别获取视频帧序列的表征特征和运动特征；

将所述表征特征作为解码网络的表征支路的第一级Transformer结构的Query，并将所述运动特征分别作为所述表征支路的第一级Transformer结构的Key和Value，采用所述表征支路的第一级Transformer结构进行计算，得到补充了运动特征的表征特征；

将所述运动特征作为所述解码网络的运动支路的第一级Transformer结构的Query，并将所述表征特征分别作为所述运动支路的第一级Transformer结构的Key和Value，采用所述运动支路的第一级Transformer结构进行计算，得到补充了表征特征的运动特征；

将所述补充了运动特征的表征特征与补充了表征特征的运动特征进行融合；

根据所述融合的结果对所述视频帧序列的类别进行预测。

2.根据权利要求1所述的方法，其特征在于，所述表征支路及所述运动支路分别还包括至少一个后续级Transformer结构，所述表征支路及所述运动支路的第一级Transformer结构与各个所述后续级Transformer结构依次连接；

所述方法还包括：

针对所述表征支路的任意一个所述后续级Transformer结构，将所述表征支路中前一级Transformer结构的计算结果作为所述后续级Transformer结构的Query，并将所述运动支路中前一级Transformer结构的计算结果作为所述后续级Transformer结构的Key和Value，采用所述后续级Transformer结构进行计算；将所述表征支路中最后一个所述后续级Transformer结构的计算结果作为所述补充了运动特征的表征特征；

针对所述运动支路的任意一个所述后续级Transformer结构，将所述运动支路中前一级Transformer结构的计算结果作为所述后续级Transformer结构的Query，并将所述表征支路中前一级Transformer结构的计算结果作为所述后续级Transformer结构的Key和Value，采用所述后续级Transformer结构进行计算；将所述运动支路中最后一个所述后续级Transformer结构的计算结果作为所述补充了表征特征的运动特征。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

对所述第一级Transformer结构/后续级Transformer结构的计算结果进行层归一化处理；

对层归一化处理之后的结果进行语义特征转换；

将语义特征转换之后的结果通过残差结构与所述层归一化处理之后的结果相加，所述残差结构中包含Dropout层；

对通过残差结构相加之后的结果进行层归一化处理，采用处理结果更新所述第一级Transformer结构/后续级Transformer结构的计算结果。

4.根据权利要求1或2所述的方法，其特征在于，还包括：

将视频数据均匀划分为多段视频帧；

分别从每段所述视频帧中抽取一个视频帧；

将所述抽取的视频帧组成所述视频帧序列。

5.根据权利要求4所述的方法，其特征在于，所述分别获取视频帧序列的表征特征和运动特征，包括：

分别获取所述视频帧序列的表征信息数据和运动信息数据；

对所述表征信息数据和所述运动信息数据进行编码及空间维度压缩，得到所述视频帧序列的表征特征和运动特征。

6.根据权利要求5所述的方法，其特征在于，获取所述视频帧序列的表征信息数据，包括：

对所述视频帧序列中的各帧进行数据预处理，得到所述视频帧序列的表征信息数据。

7.根据权利要求5所述的方法，其特征在于，获取所述视频帧序列的运动信息数据，包括：

将所述视频帧序列中的相邻帧/相邻帧的边缘信息相减，得到所述视频帧序列的运动信息数据；所述相邻帧的边缘信息采用高频算子进行提取。