[发明专利]基于样本选择和模型进化的黑盒对抗性攻击防御方法

说明书

一种基于样本选择和模型进化的黑盒对抗性攻击防御方法，包括以下步骤：1)用样本选择器从多类样本中随机选择部分样本输入到各种攻击模型中，生成大量对抗样本。2)计算对抗样本的攻击效果，分析不同输入样本和攻击模型的攻击效果。3)根据攻击效果，更新攻击模型和样本选择器中不同样本选择的个数，使得新生成地对抗样本具有更好的攻击效果；同时更新对抗样本池，保存攻击效果最好的几个对抗样本，在迭代结束之后，输出池中攻击效果最好的对抗样本作为本次进化的最终结果。4)将大量的训练的输出结果和正常的样本进行训练，即可对该类攻击进行防御。本发明能提升黑盒模型的防御能力。

技术领域

本发明属于人工智能安全技术领域，具体涉及基于样本选择和模型进化的黑盒对抗性攻击防御方法。

背景技术

深度学习是当前机器学习和人工智能兴起的核心内容。由于其有强大的学习、特征提取及建模能力，被广泛的应用到语音识别、自然语言理解、计算机视觉等具有挑战性的领域。并且在视觉领域，深度学习已经成为了自动驾驶汽车、人脸识别、监控及安全等各种应用的主力军。

然而，最新研究表明深度学习虽然可以很好的提取正常图像特征并进行预测或分类，但是可以通过对图像添加细微的扰动，对其进行攻击，使模型输出结果错误。这些扰动及其细微，可以在人眼无法察觉的情况下欺骗模型，甚至使得模型对错误的预测表现出较高的执行度。

随着深度学习被应用到了各种重要的领域，深度学习的安全问题越愈加重要。鉴于目前深度学习的防御机制是通过对已知对抗样本和正常图片之间的区别进行训练，故用于训练的对抗样本对模型的欺骗程度决定了防御机制的防御效果。所以，如何产生高度攻击效果的攻击样本便成了深度学习防御机制的重点。又由于对于相同的样本，不同的攻击模型产生的对抗样本的有不同的攻击攻击效果。而对于相同的攻击模型，不同的输入样本对应的对抗样本也会有不同的攻击效果。

所以攻击模型的输入样本和攻击模型选择决定了对抗样本的生成。综上所述，攻击模型输入样本的选择和攻击模型的进化决定了对抗样本的攻击效果，间接决定了防御机制的防御效果，具有极其重要的理论与实践意义。

发明内容

为了增加深度学习模型的抗干扰能力，使得黑盒对对抗性攻击有更好的防御能力，本发明先提出了一种可以优化输入样本选择，更新攻击模型，并通过多次迭代得到攻击效果更好的对抗样本的方法，然后通过对该类对抗样本进行训练，提高黑盒的防御能力。

本发明解决其技术问题所采用的技术方案是：

一种基于样本选择和模型进化的黑盒对抗性攻击防御方法，所述方法包括以下步骤：

1)生成对抗样本，过程如下：

1.1)初始化参数i＝1；若是第一次进行训练，则令对抗样本池中样本个数m0＝0，样本选择器Ss中各类样本选择个数 Num₀＝Num₁＝···＝Num_n＝a，a为常量；

1.2)用样本选择器Ss从样本S中随机选择对应个数Num的样本；若j类样本的个数m_j大于该类要选择的个数Num_j，则只选择m_j个样本；

1.3)将得到的样本输入到第i个攻击模型A_i中，得到对应的对抗样本A_iS；

1.4)i＝i+1，若i＞k则进入步骤2)，否则回到步骤1.2)，其中k是攻击模型的个数；

2)攻击黑箱模型并分析攻击结果，过程如下：