[发明专利]一种基于交叉注意力机制的视频显著性物体检测模型及系统

权利要求书

1.一种基于交叉注意力机制的视频显著性物体检测方法，其特征在于：所述方法包括以下步骤：

A、多级特征抽取步骤：利用深度卷积神经网络对视频原始帧图像进行多级特征抽取，并生成高级、低级特征图；在卷积神经网络中，高级特征图通常包含高级语义信息，低级特征图通常包含更多的纹理、边缘细节信息；直观上讲，高级特征通常从网络深层特征抽取获得，而低级特征图通常可由网络的浅层部分获得；

B、自注意力生成步骤：采用自注意力机制，利用帧内高级特征图各像素位置上的特征关系，对帧内特征进行重新配准和对齐，使得特征包含帧内上下文的语义和位置信息，提升模型对帧内显著性物体检测的响应；

C、交叉注意力生成步骤：利用帧间交叉注意力机制，获取帧间时空关系上显著性物体语义及位置上的关系依赖，作为配准权重作用到高级特征上，保持时空关系上的显著性物体检测的一致性；

D、时空特征融合步骤：对抽取的相邻帧帧内高级特征、低级特征以及具有帧间依赖关系的时空特征进行融合；

E、输出步骤：将输入的融合特征进行特征降维，利用分类器输出相邻两帧图像的像素级分类结果；

F、联合检测步骤：建立一个基于交叉注意力机制的深度视频显著性物体检测模型，并使用GPU并行计算来加速模型的训练；

所述步骤C包括以下步骤：

C1、时空特征准备：利用生成的两帧各自的帧内配准特征，重新构建像素级键值源关系对儿，利用目标帧特征作为输出，分别通过投影变换矩阵得到低维嵌入空间的特征表达；

C2、帧间像素级注意力权重生成：利用矩阵乘法获得源帧特征的像素级键值关系矩阵，并利用softmax函数对像素i与其他相关像素间的关系权重进行权重配分，输出注意力权重；

C3、双向帧间交叉注意力特征重配准：将从源帧特征得到的注意力权重作用到目标帧的输出特征上，进行帧间特征重配准，并利用同时残差链接，保证深层网络的信息流通畅；之后，通过交换源帧和目标帧特征的输入，实现t到t+Δt帧和t+Δt到t帧的双向交叉注意力特征配准，输出配准特征Z_t+Δt→t，Z_t→t+Δt；

所述步骤F包括以下步骤：

F1、形成基于相似网络的短时视频显著性物体检测模型；

F2、通过对编码译码结构，交叉注意力模块以及时空特征融合模块进行端到端训练，利用GPU并行计算技术加速模型的训练过程；

F3、利用训练好的模型，通过规定输入的待检测视频帧对儿，实现视频显著性物体检测。

2.根据权利要求1所述的方法，其特征在于：所述步骤A包括以下步骤：

A1、视频帧数据预处理：利用视频帧及与之对应的逐帧标定的像素级显著性掩模真值图，通过抽取相邻或具有一定时序间隔Δt的视频帧对儿(I_t,I_t+Δt)，建立模型训练数据；

A2、基于卷积神经网络编码译码结构的预训练：设计基于静态图像的深度卷积编码译码网络利用已有的静态图像数据集进行模型预训练，使得深度卷积编码译码网络具备静态图像的显著性检测能力；

A3、多级特征抽取：在A2步骤中预训练的主干网络基础上，对输入的前后帧对儿分别抽取多尺度高级与低级特征表达；将t和t+Δt时刻的输入帧(I_t，I_t+Δt)输入权值共享的预训练主干网络中得到多级/多尺度特征表达这样就完成了在相似网络结构下的多级特征抽取。

3.根据权利要求1所述的方法，其特征在于：所述步骤B包括以下步骤：

B1、静态特征准备：利用抽取的高级特征数据，构建像素级键值关系对儿以及输出特征，分别通过投影变换得到低维嵌入空间的特征表达；

B2、帧内像素级自注意力权重生成：利用矩阵乘法获得像素级键值关系矩阵，并利用softmax函数得到像素i与其他相关像素间的关系权重并进行权重配分，输出注意力权重；

B3、帧内高级特征重配准：利用生成的注意力权重，作用到输出特征上，实现特征的配准，通过引入残差链接，保证深层网络的信息流通畅以及训练时的梯度回传。