[发明专利]基于样本驱动目标损失函数优化的鲁棒神经网络训练方法

说明书

本发明公开了一种基于样本驱动目标损失函数优化的鲁棒神经网络训练方法，包括以下步骤：将IBP或Crown‑IBP验证技术引入到训练中，在提供训练集和最大扰动距离的情况下，在训练集上验证欠训练网络，并根据样本将验证结果添加到损失函数中，以指导参数更新。同时，对训练鲁棒模型时使用的损失函数类型进行了优化，引入了一种基于增加鲁棒边界的加速交叉熵损失函数，这适合于可验证鲁棒神经网络模型的训练。本发明提升了神经网络鲁棒性的同时提升了准确性。

技术领域

本发明涉及深度学习领域，具体涉及一种基于样本驱动目标损失函数优化的鲁棒神经网络训练方法。

背景技术

随着深度学习技术在计算机视觉领域不断取得进展，人工智能系统正被广泛应用于自动驾驶和人脸识别等场景。人工智能在这些重大安全领域下的应用，使得人们迫切需要了解神经网络的鲁棒性。众所周知深度神经网络并不鲁棒，即便是难以察觉的扰动也能使神经网络做出错误的预测。然而，大多数防御方法的鲁棒性提升无法得到证明，因此往往会被更强大的攻击打破。

为了克服上述的困难，已经有许多研究者提出使用形式化验证技术如IBP和Crown-IBP，用于训练可证明鲁棒的神经网络。给定一个扰动范围，可证明鲁棒的训练方法可以通过验证技术计算出鲁棒边界，并将其最小化以训练出一个可证明鲁棒的模型。然而目前的训练方式却导致模型准确性出现大幅下降。所以，如何高效地训练拥有更好准确性与鲁棒性的深度神经网络是一个亟待解决的问题。

发明内容

本发明的目的在于提供一种基于样本驱动目标函数优化的鲁棒神经网络训练方法，缓解了鲁棒神经网络训练领域存在的神经网络模型准确性大幅降低等问题。

实现本发明目的的具体技术方案如下：

一种基于样本驱动目标函数优化的鲁棒神经网络训练方法，在训练过程中对于识别正确的未干扰样本采用常规鲁棒性训练方法处理；而对于识别错误的未干扰样本，希望未干扰样本及其对抗样本经过神经网络后的概率分布更相近。通过引导神经网络在提高对于未干扰样本的准确率的基础之上，再使神经网络分类器朝着更鲁棒的方向更新参数。该方法包括以下步骤：

首先给定一个深度神经网络模型；给定一个训练集和一个扰动大小；

设定初始超参数，包括学习率、学习率衰减率、最大训练周期、学习率衰减的周期、准确性与鲁棒性目标占比变化；

每个周期根据目前训练周期数更新超参数；

训练时使用的扰动范围从0逐渐增加至扰动大小；

训练时输入一个批次的训练样本及其标签；

根据输入样本和扰动大小，使用IBP或Crown-IBP的神经网络鲁棒性验证技术计算神经网络对于每个输入的输出边界,即模型对于该输入的每个分类的预测概率的上下界；

若该批次训练样本识别正确，则设立一个鲁棒的损失函数来反向传播进行模型参数的更新，其中，y_true代表该输入的正确标签；代表在扰动下的预测概率，对于正确标签概率取最低预测值，其余标签概率取最高预测值；

若该批次训练样本识别错误，则使用所述IBP或Crown-IBP的神经网络鲁棒性验证技术

验证所述训练样本是否满足鲁棒性的性质，即正确标签概率的最低预测值大于其余标签概率取最高预测值；

若所述模型对于所述训练样本满足鲁棒性性质，则设定一个保持识别一致的KL散度损失函数其中，p(x,θ)代表所述训练样本经过所述模型输出的概率分布，代表所述训练样本的对抗样本经过所述模型输出的概率分布，KL散度损失函数表示两者的差异性；通过KL散度损失函数反向传播进行模型参数的更新，使干扰前后的样本通过所述模型后的输出分布保持一致；