[发明专利]一种时空卷积注意力网络用于视频中动作识别的方法

权利要求书

1.一种时空卷积注意力网络用于视频中动作识别的方法，包括以下步骤：

步骤(1)：使用TVL1算法对原视频数据进行处理，得到光流信号图像。接着，使用稀疏采用的方式对视频的RGB帧和光流图进行帧采样。首先，将视频分割为T个等长的片段，接着从RGB帧中的每一个片段中随机抽取一张帧，从光流图中的每一个片段中随机抽取5张帧；

步骤(2)：将步骤(1)得到的帧序列和堆叠的光流图分别输入到空间卷积注意力网络和时序卷积注意力网络中，帧序列和堆叠的光流图经过两种残差网络骨干处理得到特征图F₁和F₂。

步骤(3)：将步骤(2)中得到的特征图F₁输入到空间卷积注意力模块，空间卷积注意力模块由两条分支组成，分别学习特征图F₁的空间全局信息和时序局域信息。其中一个分支利用横向和纵向的一维卷积滤波器，获得具有不同方向的局部空间特征的特征图，然后采用自注意力机制实现空间特征增强。另外一个分支采用一维度的时序卷积层对RGB特征图进行时序维度的动态信息提取，最终将两条分支获得的特征相加融合，得到增强后的空间语义信息特征图。

步骤(4)：将步骤(2)中得到的特征图F₂输入到时序卷积注意力模块中，特征图F₂分别经过两条分支——时序自注意层和空间卷积层。其中时序自注意层采用不同扩张率的时序卷积提取了多种具有不同时序感受野的动态特征视图，然后通过自注意力实现动态特征增强。而空间卷积层采用2D卷积捕捉特征图F₂的空间局域信息。最终将两种特征相加融合，得到增强后的时序语义信息特征图。

步骤(5)：分别将步骤(3)和步骤(4)得到的高级特征输入到分类层中得到分类结果。

步骤(6)：将步骤(5)中空间卷积注意力网络和时序卷积注意力网络输出的两种分类结果进行融合，得到最终的识别准确率。