[发明专利]一种神经网络下基于敏感度的鲁棒性训练防御方法

说明书

本发明公开了一种神经网络下基于敏感度的鲁棒性训练防御方法，该方法通过在样本周围构造高斯邻域生成敏感度样本，让神经网络同时关注模型分类损失和模型敏感度度量，又通过权衡系数对二者进行平衡，从而显著提高了神经网络模型对逃逸攻击的抵抗能力，通过在原始样本周围构造敏感度样本来将模型的分类误差和敏感度度量结合起来作为最终的误差进行反向传播，让模型不仅仅关注分类误差，同时关注模型敏感度。敏感度训练能够让模型获得更可靠的决策边界，经过敏感度训练后的决策边界距离样本更远，这增加了攻击者的攻击成本，从而有效地提高模型的防御能力。

技术领域

本发明涉及神经网络模型安全的技术领域，尤其是指一种神经网络下基于敏感度的鲁棒性训练防御方法。

背景技术

神经网络模型由于其强大的学习能力，在许多应用，如计算机视觉，自然语言处理和控制领域中都取得了优异的成绩。但是，许多研究表明，神经网络方法在对抗环境中易受攻击。在对抗环境中，攻击方故意制造样本以误导目标系统的决策。与其它机器学习方法一样，神经网络方法也假定训练和测试集遵循相同(或相似)的分布。由于这种假设被对抗性攻击破坏了，因此神经网络方法的性能会大大下降。一些研究表明，加入了较小的对抗性噪声的样本可能会混淆神经网络方法。该漏洞影响了我们在与安全相关的应用中使用神经网络的信心。因为对抗攻击的存在，自动驾驶汽车将无法正确识别路标，面部识别系统也可能会错误地将一个人试别成其他人，这种攻击被称为“逃逸攻击”。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种神经网络下基于敏感度的鲁棒性训练防御方法，旨在改善传统防御方法--对抗训练的弊端，对抗训练需要事先对攻击者的攻击策略进行假设或猜想，而基于敏感度的方法无须知道攻击算法的任何细节，只需要寻找样本点周围的高斯噪声，为样本构造高斯邻域即可；其次，对抗性训练需要生成对抗样本注入训练集中，这需要花费大量的时间，以至于数倍于基于敏感度的防御方法。而本方法通过在原始样本周围构造敏感度样本来将模型的分类误差和敏感度度量结合起来作为最终的误差进行反向传播，让模型不仅仅关注分类误差，同时关注模型敏感度。敏感度训练能够让模型获得更可靠的决策边界，经过敏感度训练后的决策边界距离样本更远，这增加了攻击者的攻击成本，从而有效的提高模型的防御能力。

为实现上述目的，本发明所提供的技术方案为：一种神经网络下基于敏感度的鲁棒性训练防御方法，包括以下步骤：

1)选择用于鲁棒性训练所用的神经网络模型及其对应的分类数据集和损失函数；

2)对步骤1)中所选的分类数据集中的样本生成多个高斯噪声，此时多个高斯噪声会围绕在样本周围形成高斯邻域，再将高斯邻域中的噪声添加到样本上，从而形成敏感度样本；

3)对步骤1)中所选择的损失函数进行改造，即计算步骤2)中的敏感度样本和正常样本的神经网络模型输出的欧几里得距离，将此距离的期望值作为敏感度正则项添加到损失函数上，从而完成对损失函数的改造；

4)对步骤3)中经过损失函数改造后的神经网络模型进行鲁棒性训练，训练完成后得到最优的神经网络模型，此时该神经网络已经形成了强大的防御能力。

在步骤1)中，选择的神经网络模型有VGG系列、RestNet系列或efficientNet系列；分类数据集的选择与所选神经网络的层数和复杂度成正相关，为MNIST、CIFAR10、CIFAR100或ImageNet；而针对分类的损失函数则选择使用交叉熵损失函数。

在步骤2)中，针对步骤1)中的分类数据集的样本生成多个高斯噪声，在样本周围形成高斯邻域，再将高斯噪声添加到样本从而形成敏感度样本，包括以下步骤：

2.1)对每一个批次的样本随机选取一部分，得到样本集合D及其抽样集合S：