[发明专利]一种针对视频目标分割的注意力引导的对抗性攻击方法

权利要求书

1.一种针对视频目标分割的注意力引导的对抗性攻击方法，其特征在于：包括如下步骤：

(1)将视频序列X＝{x₁,x₂,…,x_n}输入特征提取器F_θ，获取视频帧x_i的特征图F_i；其中，θ表示待学习参数，i为视频帧的索引，i＝1,2,…,n，n为视频帧的数量；

(2)构建多级特征空间注意力模块，获得特征图F_i的空间注意力图

(3)将空间注意力图与特征图F_i串联起来得到增强特征图E_i，对增强特征图E_i进行下采样得到E_i′；

(4)构建反卷积神经网络，基于下采样后的增强特征图E_i′，生产视频序列X的对抗性扰动ΔX；

(5)将对抗性扰动ΔX添加到视频序列X中产生对抗样本X_adv；

(6)给定初始帧掩码m，将对抗样本X_adv输入单样本视频目标分割网络得到最终预测掩码。

2.根据权利要求1所述的针对视频目标分割的注意力引导的对抗性攻击方法，其特征在于：所述步骤(1)中，特征提取器F_θ采用单样本视频目标分割模型中的VGG16网络，由VGG16网络的最后一个卷积层产生视频帧x_i的特征图其中：H、W和C分别表示特征图F_i的高度、宽度和通道数。

3.根据权利要求1所述的针对视频目标分割的注意力引导的对抗性攻击方法，其特征在于：所述步骤(2)中，多级特征空间注意力模块先对特征图F_i进行一个通道维度的平均池化和最大池化，得到两个H×W×1的通道描述；再将这两个通道描述拼接在一起；然后经过一个7×7的卷积层，激活函数为Sigmoid，使用一个Softmax层得到空间注意力图

其中：σ(·)表示Sigmoid函数，f^7×7表示一个滤波器大小为7×7的卷积运算；AvgPool(F_i)表示对特征图F_i平均池化，池化结果为MaxPool(F_i)表示对特征图F_i最大池化，池化结果为

4.根据权利要求1所述的针对视频目标分割的注意力引导的对抗性攻击方法，其特征在于：所述步骤(4)中，按照下面的类损失函数训练反卷积神经网络：

其中：表示交叉熵类损失函数，y_j是视频帧x_i的像素级二进制标签，Y₊和Y_-是带正负标签的像素，β＝|Y_-|/|Y₊|；

反卷积神经网络使用下面的注意力特征损失函数：

其中：表示哈达玛积，表示视频帧xⁱ的对抗样本，x_r是一个随机预定义的特征图；表示通过特征提取器F_θ提取到的的特征图，F_θ(x_r)表示通过特征提取器F_θ提取到的x_r的特征图，||·||₂表示L2范数；

反卷积神经网络采用下面的总损失函数：

其中：λ表示控制噪声和交叉熵损失的重要性权值，μ表示视频帧中目标的重要性权值，ΔX＝{Δx₁,Δx₂,…Δx_n}表示视频序列X的对抗性扰动，Δx_i表示视频帧x_i的对抗性扰动。

5.根据权利要求1所述的针对视频目标分割的注意力引导的对抗性攻击方法，其特征在于：所述步骤(5)中，其中：ε是最大允许对抗扰动阈值。

6.根据权利要求1所述的针对视频目标分割的注意力引导的对抗性攻击方法，其特征在于：所述步骤(6)中，将对单样本视频目标分割网络进行的攻击表示为：

其中：S_θ(X_adv,T_τ(X_adv))表示使用对抗样本X_adv进行分割的单样本视频目标分割网络，T_τ(X_adv)表示用于生成对抗样本X_adv中目标感知输出的目标模型，τ表示集成目标模型外观信息编码的参数，τ由对抗样本X_adv的初始帧及其给定的初始帧掩码m确定，利用目标感知输出最终预测掩码。