[发明专利]一种针对视频目标分割的注意力引导的对抗性攻击方法

说明书

本发明公开了一种针对视频目标分割的注意力引导的对抗性攻击方法，首先使用特征提取器提取视频帧的特征图；然后构建多级特征空间注意力模块，获得空间注意力图；将空间注意力图与特征图串联起来，得到增强特征图，并对增强特征图进行下采样；构建反卷积神经网络，基于下采样后的增强特征图生成原始视频序列的对抗性扰动；将生成的对抗性扰动添加到原始视频序列中产生对抗样本；给定初始帧掩码，将对抗样本输入经典的单样本视频目标分割网络中得到最终预测掩码。本发明提供对抗性攻击方法借助注意力机制和增强特征图生成对抗性扰动，能够针对视频目标分割任务进行对抗性攻击，实现将目标的所有像素进行错误分类。

技术领域

本发明涉及一种针对视频目标分割的注意力引导的对抗性攻击方法，属于图像处理技术。

背景技术

视频目标分割是计算机视觉的核心任务，在视频编辑、视频合成和自动驾驶等领域有着广泛的应用。半监督视频目标分割要求在给定初始掩码的情况下对视频序列中的目标对象进行分割。近年来，随着深度学习的进步，视频目标分割算法取得了许多突破。

尽管深度神经网络在视频目标分割方面取得了优异的性能，但它们很容易受到恶意的对抗攻击，这些攻击旨在用人类无法察觉的小扰动来误导模型。一些研究工作表明，神经网络很容易被愚弄。这些工作主要集中在为计算机视觉分类任务生成对抗样本。图像上添加的微小扰动，虽然通常被人类察觉不到，但很容易欺骗基于深度神经网络的分类器、检测器、跟踪器和分割器，导致错误的结果。这引起了极大的关注，特别是当深度神经网络应用于安全和安全关键场景时。对于特定的任务，特定领域的研究和了解对抗攻击如何影响深度神经网络的性能，将是减少这些影响，进一步增强鲁棒性的关键。

然而，现有的大部分工作都集中在探索图像分类模型的对抗样本，针对视频分割模型的对抗性攻击很少被研究。事实上，基于深度神经网络的视频目标分割模型，正越来越多地部署在现实世界的场景中，如监控。研究对抗样本有助于理解深度模型的工作机制，并为提高网络的鲁棒性提供了机会。因此，研究视频模型的对抗性攻击方法至关重要。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种针对视频目标分割的注意力引导的对抗性攻击方法，通过找到与视频目标分割模型有不可感知差异的对抗样本，使目标模型失效，同时考虑所有目标，并优化整体损失。本案研究的对抗性攻击方法，有助于理解深度模型的工作机制以更好识别分割算法的脆弱性，为提高视频目标分割算法的鲁棒性提供机会。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种针对视频目标分割的注意力引导的对抗性攻击方法，包括如下步骤：

(1)将视频序列X＝{x₁,x₂,…,x_n}输入特征提取器F_θ，获取视频帧x_i的特征图F_i；其中，θ表示待学习参数，i为视频帧的索引，i＝1,2,…,n，n为视频帧的数量；

(2)构建多级特征空间注意力模块，获得特征图F_i的空间注意力图

(3)将空间注意力图与特征图F_i串联起来得到增强特征图E_i，对增强特征图E_i进行下采样得到E_i′；

(4)构建反卷积神经网络，基于下采样后的增强特征图E_i′，生产视频序列X的对抗性扰动ΔX；

(5)将对抗性扰动ΔX添加到视频序列X中产生对抗样本X_adv；

(6)给定初始帧掩码m，将对抗样本X_adv输入单样本视频目标分割网络得到最终预测掩码。