[发明专利]一种提升深度学习模型鲁棒性的训练方法及系统

说明书

本发明公开了一种提升深度学习模型鲁棒性的训练方法及系统，其中该训练方法包括如下步骤：S1，在模型反向传播时，计算得到模型每一隐藏层神经元所需的对抗噪音，并进行存储；S2，在模型正向传播时，从噪音存储单元中取出神经元对应的对抗噪音，更新隐藏层神经元值，并继续正向传播；S3，迭代执行上述步骤S1和步骤S2共P轮，完成提升深度学习模型鲁棒性的训练；其中P为正整数。本发明在保证模型泛化能力的同时，有效提升深度学习模型对于对抗样本噪音和自然噪音的鲁棒性，改善深度学习模型在实际场景中应用时的稳定性；与此同时结合了传统的正向‑反向训练过程，有效降低了计算复杂度，大大提升了可应用性。

技术领域

本发明涉及一种提升深度学习模型鲁棒性的训练方法，同时涉及 一种实现该方法的训练系统。

背景技术

近年来，深度学习已经在计算机视觉和自然语言处理等多个富有 挑战性的领域中取得了卓越的成就。在实际应用中，深度学习通常应 用于大型数据集，在这些从日常生活中收集的数据所构成的数据集中， 不可避免地包含了大量的噪音，虽然这些噪音对于人类的认知和物体 识别没有影响，但是它们能误导深度神经网络做出错误的决策，这对 实践中机器学习在数字和物理世界的应用构成了严重的安全威胁。

与此同时，为何微小的噪音会造成深度神经网络做出完全错误的 决策，深度模型在分类和判断时采取的依据是什么，以及如何进一步 提升深度学习模型的稳定性和表达能力，这些都凸显了可解释性深度 学习的重要性。因此在最近的研究中，训练鲁棒的、可解释的深度神 经网络受到了很高的重视。

在此背景下，为了提升深度学习模型对于对抗噪音的防御能力， 许多对抗防御方法被业界专家学者提出，它们中的一部分使用了将模 型梯度变为不可计算或者不可求导的方法(梯度掩盖或gradient masking)，从而避免常规的基于梯度的攻击方法。然而，这些基于梯 度遮掩的方法已经被证实只能提供一种虚假的防御成功的错觉。使用 规避梯度的攻击方法(Backward Pass Differentiable Approximation) 依然可以达到接近100％的攻击成功率。而对抗训练(Adversarial Training)方法利用数据扩充方法，将由对抗攻击方法产生的对抗样 本加入到训练集中进行模型训练，在一定程度上提升了模型的防御能力。然而，虽然使用此方法在ImageNet数据集上训练的深度学习模型 可以对于单步攻击是鲁棒的，但是面对迭代攻击时，它们依旧是脆弱 的。

发明内容

针对现有技术的不足，本发明所要解决的首要技术问题在于提供 一种提升深度学习模型鲁棒性的训练方法。

本发明所要解决的另一技术问题在于提供一种提升深度学习模型 鲁棒性的训练系统。

为实现上述发明目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种提升深度学习模型鲁棒 性的训练方法，包括如下步骤：

S1，在模型反向传播时，计算得到模型每一隐藏层神经元所需的 对抗噪音，并进行存储；

S2，在模型正向传播时，从噪音存储单元中取出神经元对应的对 抗噪音，更新隐藏层神经元值，并继续正向传播；

S3，迭代执行上述步骤S1和步骤S2共P轮，完成提升深度学习 模型鲁棒性的训练；其中P为正整数。

其中较优地，在模型反向传播时，计算得到模型每一隐藏层神经 元所需的对抗噪音，并进行存储，包括如下步骤：

在模型反向传播时，根据链式法则，依次求导得到损失函数对于 每一隐藏层神经元的对抗梯度；

将每个神经元所需的对抗噪声保存在神经元对应的噪音存储单元 中。

其中较优地，所述根据链式法则，依次求导得到损失函数对于每 一隐藏层神经元的对抗梯度采用如下公式：