[发明专利]基于集成注意力机制的多目标对抗补丁生成方法及装置

权利要求书

1.一种基于集成注意力机制的多目标对抗补丁生成方法，其特征在于，包括以下步骤：

步骤A，构建图像分类数据集，图像分类数据集包括训练集和测试集，所述训练集和测试集包含k类图像及其类别标签，所述训练集用于多目标对抗补丁生成框架的训练，所述测试集用于对对抗补丁攻击效果的测试；

步骤B，构建基于集成注意力机制的多目标对抗补丁生成框架，包含步骤a-步骤e；

步骤a，构建集成注意力机制模块，得到对抗补丁所需放置的位置，包括：

将训练集和测试集作为输入，采用Resnet50、VGG19作为预训练网络，通过梯度加权的类激活映射分别获得原始图像的关键分类区域A_Resnet50(x)与A_VGG19(x)，取共同关注的关键分类区域A_common(x)，找到权重最大峰值，根据对抗补丁的大小以权重最大峰值为中心确定对抗补丁的位置A_patch(x)；

步骤b，构建特征提取器模块，得到原始图像注意力区域的嵌入向量，包括：

根据对抗补丁的位置A_patch(x)，取出对抗补丁所要替代的原始图像注意力区域x_replaced，将其作为特征提取器的输入，特征提取器将原始图像注意力区域x_replaced映射到低维空间的嵌入向量x_embedding；

步骤c，构建生成器模块，生成针对多目标类别的对抗补丁，包括：

将特征提取器得到的嵌入向量x_embedding作为生成器G的输入，并同时输入随机生成的除原始类别以外的其余类别t，这里的t是离散变量而非常量，生成针对目标类别t的对抗补丁δ＝G(x_embedding,t)，而后将对抗补丁放置在原始图像中对抗补丁的位置A_patch(x)以形成对抗样本

步骤d，构建判别器模块，并对输入进行裁剪，包括：

以图像中对抗补丁的位置A_patch(x)为中心对原始图像以及对抗样本进行裁剪，将裁剪后的两者作为判别器的输入，判别器保证对抗样本与原始图像x的相似度；

步骤e，构建目标攻击模型，包括：

目标攻击模型F为深度神经网络，将对抗样本输入目标攻击模型F，并得到其返回的类别标签值；

步骤C，定义损失函数并训练多目标对抗补丁生成框架，包括：

输入训练集和集成注意力机制模块获得的对抗补丁的位置A_patch(x)，对多目标对抗补丁生成框架进行训练；所述损失函数包括生成对抗损失函数L_GAN、对抗攻击损失函数L_adv和对抗补丁相似度函数L_patch；

L_GAN(G,D)＝E_x[logD(crop(x))]+E_x,t[log(1-D(crop(x+G(x_embedding,t)-x_replaced)))]

将对抗样本输入目标攻击模型F，并得到其返回的类别标签值，通过对抗生成训练，对抗攻击损失函数L_adv促使对抗样本被目标攻击模型F错误分类为目标类别t；

上面三个公式中，为对抗样本，x为原始图像，t为目标类别，δ为对抗补丁，k为原始类别，A_patch(x)为对抗补丁的位置，F为目标攻击模型，D为判别器，G为生成器，x_replaced为原始图像注意力区域；

最后，生成对抗损失函数L_GAN、对抗攻击损失函数L_adv和对抗补丁相似度函数L_patch相结合，如下：

其中λ0，γ0，以平衡每个损失的权重；优化上述问题将驱动多目标对抗补丁生成框架找到近似最优的生成器；

步骤D，测试生成对抗补丁的攻击效果，包括：

在测试阶段，输入测试集和集成注意力机制模块获得的对抗补丁的位置A_patch(x)；通过特征提取器得到嵌入向量x_embedding，将随机生成的类别与嵌入向量x_embedding通过生成器G生成对抗补丁后，然后将其添加到原始图像中对抗补丁的位置A_patch(x)以形成对抗样本最后判断目标攻击模型是否能将对抗样本分类成目标类别，分类准确性越高代表攻击能力越强。

2.一种基于集成注意力机制的多目标对抗补丁生成装置，其特征在于，包括：

图像分类数据集构建模块，用于构建图像分类数据集，图像分类数据集包括训练集和测试集，所述训练集和测试集包含k类图像及其类别标签，所述训练集用于多目标对抗补丁生成框架的训练，所述测试集用于对对抗补丁攻击效果的测试；

多目标对抗补丁生成框架构建模块，用于构建基于集成注意力机制的多目标对抗补丁生成框架，包含步骤a-步骤e；

步骤a，构建集成注意力机制模块，得到对抗补丁所需放置的位置，包括：

将训练集和测试集作为输入，采用Resnet50、VGG19作为预训练网络，通过梯度加权的类激活映射分别获得原始图像的关键分类区域A_Resnet50(x)与A_VGG19(x)，取共同关注的关键分类区域A_common(x)，找到权重最大峰值，根据对抗补丁的大小以权重最大峰值为中心确定对抗补丁的位置A_patch(x)；

步骤b，构建特征提取器模块，得到原始图像注意力区域的嵌入向量，包括：

根据对抗补丁的位置A_patch(x)，取出对抗补丁所要替代的原始图像注意力区域x_replaced，将其作为特征提取器的输入，特征提取器将原始图像注意力区域x_replaced映射到低维空间的嵌入向量x_embedding；

步骤c，构建生成器模块，生成针对多目标类别的对抗补丁，包括：

将特征提取器得到的嵌入向量x_embedding作为生成器G的输入，并同时输入随机生成的除原始类别以外的其余类别t，这里的t是离散变量而非常量，生成针对目标类别t的对抗补丁δ＝G(x_embedding,t)，而后将对抗补丁放置在原始图像中对抗补丁的位置A_patch(x)以形成对抗样本

步骤d，构建判别器模块，并对输入进行裁剪，包括：

以图像中对抗补丁的位置A_patch(x)为中心对原始图像以及对抗样本进行裁剪，将裁剪后的两者作为判别器的输入，判别器保证对抗样本与原始图像x的相似度；

步骤e，构建目标攻击模型，包括：

目标攻击模型F为深度神经网络，将对抗样本输入目标攻击模型F，并得到其返回的类别标签值；

训练模块，用于定义损失函数并训练多目标对抗补丁生成框架，包括：

输入训练集和集成注意力机制模块获得的对抗补丁的位置A_patch(x)，对多目标对抗补丁生成框架进行训练；所述损失函数包括生成对抗损失函数L_GAN、对抗攻击损失函数L_adv和对抗补丁相似度函数L_patch；

L_GAN(G,D)＝E_x[log D(crop(x))]+E_x,t[log(1-D(crop(x+G(x_embedding,t)-x_replaced)))]

将对抗样本输入目标攻击模型F，并得到其返回的类别标签值，通过对抗生成训练，对抗攻击损失函数L_adv促使对抗样本被目标攻击模型F错误分类为目标类别t；

上面三个公式中，为对抗样本，x为原始图像，t为目标类别，δ为对抗补丁，k为原始类别，A_patch(x)为对抗补丁的位置，F为目标攻击模型，D为判别器，G为生成器，x_replaced为原始图像注意力区域；

最后，生成对抗损失函数L_GAN、对抗攻击损失函数L_adv和对抗补丁相似度函数L_patch相结合，如下：

其中λ0，γ0，以平衡每个损失的权重；优化上述问题将驱动多目标对抗补丁生成框架找到近似最优的生成器；

测试模块，用于测试生成对抗补丁的攻击效果，包括：

在测试阶段，输入测试集和集成注意力机制模块获得的对抗补丁的位置A_patch(x)；通过特征提取器得到嵌入向量x_embedding，将随机生成的类别与嵌入向量x_embedding通过生成器G生成对抗补丁后，然后将其添加到原始图像中对抗补丁的位置A_patch(x)以形成对抗样本最后判断目标攻击模型是否能将对抗样本分类成目标类别，分类准确性越高代表攻击能力越强。