[发明专利]一种基于加速Transformer模型的视频分类方法

说明书

本发明公开了一种基于加速Transformer模型的视频分类方法，该方法包括：首先对原始视频进行预处理得到一个视频特征序列，在序列的位首添加分类token向量；将特征长序列输入到加速Transformer模型中，最后将输出的分类token转换为待分类视频的分类结果。由于视频数据是一个超长序列，使用原始Transformer模型将耗费巨大的计算成本，因此本发明设计了一种加速Transformer模型，使用泰勒一阶展开公式对Softmax函数进行展开，得到一个逼近于Softmax的线性函数，运用此线性函数进行输入元素之间的注意力权值计算，利用矩阵乘法的结合律将Transformer时间及空间复杂度降低至线性复杂度，从而很大程度上解决了Transformer输入序列长度的限制问题以及训练速度缓慢问题，使得Transformer模型更适用于视频分类任务。

技术领域

本发明涉及视频技术领域，具体设计了一种基于加速Transformer模型的视频分类方法。

背景技术

随着5G时代的到来，网络通信具有更快的传输速度、更大带宽与更低时延等特点，使得用户可以从更多渠道获得各种各样的视频资源，也进一步加剧了视频数据的增长。面对海量的视频数据，如何对这些视频进行分类，使得用户能快速地从中获取自己感兴趣的视频成为计算机视觉领域中非常重要且具有挑战性的研究热点之一。

传统的视频分类方法主要基于深度2D或3D卷积神经网络模型，但其分类性能始终受限于卷积神经网络架构下的感受野问题，无法做到长程或全局关系建模。近年来，基于多头自注意力机制的Transfomer模型由于其显著的序列建模能力已经成为机器学习许多领域中最先进的模型。而视频数据具有序列性，并且需要关联上下文进行理解，因此我们认为具有长距离自我注意力机制的Transformer模型相比于卷积神经网络更适合视频建模。

Transformer的自注意力机制可以用以下公式表示：

其中Q，K，V是输入序列矩阵分别通过矩阵和生成的投影，分别用于表示输入的查询特征、关键字特征以及字值特征。N是输入序列的长度，d是元素嵌入表示的维度，d_k是投影的特征维度。对Q和K进行列点积计算，可以生成一个N×N的注意力矩阵。该注意力矩阵可用于衡量查询元素与关键字元素之间的相关性。再通过使用Softmax函数对注意力矩阵进行归一化，可进一步得到注意力权重矩阵。最后将权重矩阵乘回字值特征V中，即可得到包含查询信息与关键字信息的字值特征加权结果。然而这种自注意力机制在给模型带来高性能的同时也伴随着非常高的计算和内存成本，造成这种问题的主要原因在于Softmax函数的非线性性与固定的矩阵乘法顺序。

在Softmax函数的作用下，Attention模块必须先计算矩阵Q和矩阵K乘积，然后再乘以矩阵V。这一过程的时间以及空间复杂度为O(d_kN²)，即Transformer的计算复杂度与输入序列长度N的平方成正比。这对于视频数据这样的长序列来说成本是极其昂贵的，即使对视频数据进行采样将其缩短为中等长度的序列，也无法在计算资源有限的环境中使用Transformer。如何保留Transfomrer对视频建模的优势，同时降低Transformer应用于视频数据时所需的高昂计算量和内存，是一个艰巨的挑战。

发明内容

本发明提供了一种基于加速Transformer模型的视频分类方法，保留了Transformer模型中self-attention机制计算全局感受野的优势，并且利用逼近于Softmax函数的线性函数以及矩阵乘法的结合律解决了Softmax函数的瓶颈问题，塑造了一种加速Transformer模型，极大程度的降低了Transformer模型用于视频分类任务的计算成本，从而实现高效的视频分类。

本发明的目的是通过以下技术方案来实现的：一种基于加速Transformer模型的视频分类方法，包括以下步骤：

(1)对原始视频进行预处理，得到每帧图像对应的缩略图和若干个图像块；