[发明专利]一种对抗样本生成方法及系统

说明书

本发明公开了一种对抗样本生成方法与系统。所公开的方法包括获取原始图像的可解释性区域图像；确定合适的像素阈值，根据可解释性区域图像生成该阈值下原始图像的扰动添加模板，根据扰动添加模板中的0像素点值在原始图像的相应像素点处添加叠加扰动，生成该原始图像的对抗样本。所述公开的系统为执行所述对抗样本生成方法的系统。本发明可确保对抗扰动的可感知性和攻击性，且人眼不易发现本发明的方法加在对抗样本中的扰动，同时经验证模型以较高的概率被对抗样本误分类。

技术领域

本发明涉及计算机应用技术领域，具体是一种基于模型可解释性的对抗样本生成方法。

背景技术

对抗样本指在数据集中通过故意添加细微的干扰(即对抗扰动)所形成的输入样本，导致模型以高置信度给出一个错误的输出。在图像识别中，可以理解为原来被一个卷积神经网络(如InceptionV3、Alexnet、Lenet5等CNN模型)分类为一个类(比如“熊猫”)的图片，经过非常细微甚至人眼无法察觉的改动后，突然被误分成另一个类(比如“长臂猿”)。对抗扰动指加在图像上的扰动，对抗样本指在原图上添加对抗扰动后的图像。

评价对抗样本的指标主要包括：对抗样本的攻击性：生成的对抗样本使得模型分类错误的能力；对抗样本的感知性：人眼对添加在图像上的对抗扰动的可见性。

基于上述原理，在原始输入数据集中加入细微的扰动，可以有效的防御某些基于网络模型(如DNNs模型)的攻击。

现有产生对抗样本的方法多种多样。例如：快速梯度符号法(FGSM)是一种基于梯度的扰动生成方法，利用对输入图像的分类损失梯度产生对抗扰动来欺骗识别模型。它提供了一个快速的解决方案，以获得对抗样本。I-FGSM是FGSM的迭代版本，通过划分较小的步长将其多次应用以获得更好的攻击性。

虽然大多数现有的对抗样本生成方法能产生攻击性强的对抗样本，但都是以“全局”的方式添加对抗扰动。“全局”指该扰动生成方法平等地对待一张图像中的所有像素，对所有像素均添加对抗扰动。这种扰动添加方式往往不考虑自然图像中像素具有的局部平滑特性。特别是，随着扰动大小的增加，模型测试精度降低，由于添加全局的扰动将破坏原始图像的局部平滑，使得扰动变得更容易被人眼感知。因此，在对自然图像进行攻击时，如何权衡对抗扰动攻击的成功率和扰动的可感知性是目前需要解决的问题。

发明内容

针对现有技术的缺陷或不足，本发明一方面提供了一种对抗样本生成方法。

为此，本发明所提供的对抗样本生成方法包括：

步骤一，获取原始图像的可解释性区域图像；

步骤二，确定合适的像素阈值threshold，根据可解释性区域图像生成该阈值下原始图像的扰动添加模板Mask，根据扰动添加模板中的0像素点值在原始图像的相应像素点处添加叠加扰动，生成该原始图像的对抗样本；所述叠加扰动采用公式(1)计算：

其中：

L_n(x,y)表示为第n个第二CNN分类模型训练时的损失函数，n＝1,2,3,...,N，N≥2；y表示原始图像x的类别；例如可以理解为y是数据集中已给定的原始图像x的类别；

表示第n个第二CNN分类模型的关于损失函数L_n(x,y)的梯度，N个第二CNN分类模型的初始结构或/和网络参数不同，且N个第二CNN分类模型采用相同的训练集训练获得；

描述了loss函数的梯度方向，α为在该方向上的偏移量级；α0。

进一步，所述步骤一包括将原始图像集中的任一原始图像x和第一CNN分类模型作为模型可解释性算法的输入，输出原始图像x的可解释性区域图像，所述原始图像x为第一CNN分类模型可识别并分类的图像。