[发明专利]一种神经网络下基于敏感度的鲁棒性训练防御方法

权利要求书

1.一种神经网络下基于敏感度的鲁棒性训练防御方法，其特征在于，包括以下步骤：

1)选择用于鲁棒性训练所用的神经网络模型及其对应的分类数据集和损失函数；

2)对步骤1)中所选的分类数据集中的样本生成多个高斯噪声，此时多个高斯噪声会围绕在样本周围形成高斯邻域，再将高斯邻域中的噪声添加到样本上，从而形成敏感度样本；

3)对步骤1)中所选择的损失函数进行改造，即计算步骤2)中的敏感度样本和正常样本的神经网络模型输出的欧几里得距离，将此距离的期望值作为敏感度正则项添加到损失函数上，从而完成对损失函数的改造；

4)对步骤3)中经过损失函数改造后的神经网络模型进行鲁棒性训练，训练完成后得到最优的神经网络模型，此时该神经网络已经形成了强大的防御能力。

2.根据权利要求1所述的一种神经网络下基于敏感度的鲁棒性训练防御方法，其特征在于：在步骤1)中，选择的神经网络模型有VGG系列、RestNet系列或efficientNet系列；分类数据集的选择与所选神经网络的层数和复杂度成正相关，为MNIST、CIFAR10、CIFAR100或ImageNet；而针对分类的损失函数则选择使用交叉熵损失函数。

3.根据权利要求1所述的一种神经网络下基于敏感度的鲁棒性训练防御方法，其特征在于：在步骤2)中，针对步骤1)中的分类数据集的样本生成多个高斯噪声，在样本周围形成高斯邻域，再将高斯噪声添加到样本从而形成敏感度样本，包括以下步骤：

2.1)对每一个批次的样本随机选取一部分，得到样本集合D及其抽样集合S：

2.2)根据抽样集合S中的单一样本生成多个高斯噪声，生成高斯噪声Δx的均值为0，方差为σ，即该噪声服从均值为0，方差为σ的高斯分布，当有多个高斯噪声形成时，则会在该样本周围形成高斯邻域，其中方差σ控制该邻域的半径大小；

2.3)将高斯邻域内的高斯噪声添加到到原始样本上，从而形成该样本所对应的敏感度样本x_sen，即为：

x_sen＝x+Δx,x∈S

上式中，x为原始样本来自抽样集合S。

4.根据权利要求1所述的一种神经网络下基于敏感度的鲁棒性训练防御方法，其特征在于：在步骤3)中，在对步骤1)中所选的损失函数进行改造，引入敏感度正则项，包括以下步骤：

3.1)首先计算所选分类数据集的抽样集合S中样本x的神经网络模型输出C(x)，以及步骤2)中所生成的敏感度样本的神经网络模型输出C(x+Δx)，再计算两个输出之间的欧几里得距离，而该距离的期望即为二者的敏感度度量Sen(x)，其定义如下：

Sen(x)＝E(||C(x)-C(x+Δx)||₂)

式中，Δx为步骤2)中生成的高斯噪声，而(x+Δx)为步骤2)中生成的敏感度样本，C(.)代表神经网络模型的输出，||.||₂代表欧几里得距离，E(.)代表期望；

3.2)引入权衡参数λ，其中λ∈(0,1)；

3.3)将权衡参数λ和敏感度度量Sen(x)带入损失函数对其改造后得到最终损失函数为：

式中，L为交叉熵函数，其代表了模型的分类损失，x来自步骤1)中所选分类数据集的样本集合D，y为x的标签，S为D中的抽样集合，当权衡参数λ0.5时则说明在鲁棒性训练中神经网络模型侧重于学习敏感度度量，反之则神经网络模型侧重学习交叉熵主导下的分类损失。

5.根据权利要求1所述的一种神经网络下基于敏感度的鲁棒性训练防御方法，其特征在于：在步骤4)中，对步骤3)中改造后的神经网络模型进行鲁棒性训练，包括以下步骤：

4.1)将步骤1)中所选分类数据集的样本的像素点除以255化归到[0,1]之间，以便于神经网络模型对其进行特征提取；

4.2)对步骤2)中的高斯噪声点的数量进行固定，当高斯噪声点数量提高时，神经网络模型的防御能力随之提高，而当高斯噪声点数量下降时，训练时间随之减少，其中，高斯噪声点至少应为3个；

4.3)采用5折交叉验证的训练方法，将分类数据集对神经网络模型的偏差影响降到最低；

4.4)设定训练周期，通过对神经网络模型的验证表现来选取该周期内最优的神经网络模型，随着鲁棒性训练的结束，此时该神经网络模型已经形成了强大的防御能力。