[发明专利]一种基于动态上下文感知滤波网络的视频显著性检测方法

权利要求书

1.一种基于动态上下文感知滤波网络的视频显著性检测方法，其特征在于，包括如下步骤：

A、根据视频数据集获取视频片段并得到张量；

B、将所述张量输入特征编码器，通过所述特征编码器得到基于每一帧多尺度的编码特征；

C、针对所述编码特征，通过交错的特征融合层得到更加丰富的特征表示

D、通过互补感知时空解码器对所述更加丰富的特征表示进行特征解码，得到最终显著性预测结果，包括：

D1、通过动态上下文感知滤波模块，采用动态滤波机制和全局注意力机制，将相邻帧的上下文信息自适应的编码进当前帧中，得到包含有相邻帧信息的时间特征；

所述动态滤波机制包括：在连续两帧的特征图F_t-1，F_t之间使用矩阵乘和卷积操作，以获得增强的特征表示然后从中生成动态内核K_t；接着将特征图F_t与生成的动态内核K_t进行卷积运算，通过并行布置D个动态滤波单元，并以不同膨胀率d进行卷积，获得特定于尺度的特征表示

所述全局注意力机制包括：获得特定于各个尺度特征图的贡献指数接着将所获得的d个进行softmax归一化操作得到再与对应的原尺度特征进行加权求和，以获得从第t帧的特征F_t到第t-1帧的特征F_t-1的反向输出对从第t+1帧的特征F_t+1到第t帧的特征F_t采用同样的操作可获得前向输出最终对反向输出和前向输出进行级联和通道变换可得到动态上下文感知滤波模块的最终输出

D2、在多个阶段以渐进的方式动态融合通过交错的特征融合层得到的更加丰富的特征表示和动态上下文感知滤波模块的时间特征表示如下：

其中α为控制因子，p表示第p个阶段；

利用多阶段的融合得到每个阶段的显著性特征{S₁，S₂，S₃，S₄}，最终的显著性结果S_final由{S₁，S₂，S₃，S₄}进行级联和通道变换得到。

2.根据权利要求1所述的一种基于动态上下文感知滤波网络的视频显著性检测方法，其特征在于，所述步骤A包括：

根据视频数据集划分具有固定数量连续视频帧的视频片段，每个视频片段具有连续的T帧图像；

对视频训练集中的每个视频片段进行数据增强，包括：将所述视频片段中的T帧RGB和GT图像帧对调整大小到H×W；使用随机概率的随机翻转；对增强后的RGB图像帧转变为网络可处理的张量，再进行均值为mean，方差为std的归一化操作，得到T个张量I_t；

将视频测试集中的每个视频片段调整大小到H×W；对调整后的RGB图像帧转变为网络可处理的张量，再进行均值为mean，方差为std的归一化操作，得到T个张量I_t；其中，mean和std为超参数，表示进行归一化操作的均值和方差。

3.根据权利要求2所述的一种基于动态上下文感知滤波网络的视频显著性检测方法，其特征在于，所述T取4；所述H×W取448×448。

4.根据权利要求2所述的一种基于动态上下文感知滤波网络的视频显著性检测方法，其特征在于，所述mean取[0.485，0.456，0.406]，所述std取[0.229，0.224，0.225]。

5.根据权利要求1所述的一种基于动态上下文感知滤波网络的视频显著性检测方法，其特征在于，所述特征编码器为ResNet架构，并丢弃最后两层以保留空间结构，然后将其替换为空洞空间金字塔池层，以提取多尺度上下文信息；所述特征编码器针对每一帧图像生成4个具有不同空间分辨率和通道数的特征图。