[发明专利]一种基于数据防御的深度学习模型优化方法

说明书

一种基于数据防御的深度学习模型优化方法，在应对不同的对抗样本攻击方法时，都能找到比较有效的防御手段。为了针对对抗样本攻击方法优化模型，数据层面的防御策略主要通过在训练阶段将对抗样本注入训练数据集后重新训练模型，或预测阶段对样本进行修改，进行重建并将转换后的对抗样本输入到原模型来进行预测。利用开源对抗样本生成工具对待测模型以及目标数据集生成对抗样本，比较生成对抗样本前后模型在指定数据集上的成功率。

技术领域

本发明属于智能软件测试领域，特别是涉及到深度学习模型的优化。对需要优化的模型采用数据层面的优化方法，修改训练与测试数据，实现模型的优化，使得模型能够获得更高的准确率。

背景技术

近年来，深度学习理论技术不断成熟，在人工智能、大数据分析以及安全检测等方面都取得了很好的应用成果，它突破性地被应用在现实生活的很多领域中，在促进社会进步层面起到了关键作用。然而在带来便利的同时，深度学习本身也存在着一定的安全问题。如敌手的攻击和数据隐私的问题，这引起了安全领域的极大关注。图像领域是深度学习测试发展较快的领域，本文从对抗样本的角度来谈深度学习模型的优化。

对抗样本指的是攻击者在数据集原始输入样本通过添加人类无法察觉的细微扰动来形成新的输入样本，导致模型以高置信度给出一个错误的输出，以欺骗机器学习模型。2013年，Szegedy等人首先通过添加轻微扰动来干扰输入样本，使基于深度神经网络的图片识别系统输出攻击者想要的任意错误结果，此过程称为对抗攻击(Adversarial attack)。研究人员表明，现代深度神经网络模型极易受到人类视觉系统几乎无法察觉的微小扰动的对抗攻击。这种攻击可以造成神经网络分类器对原始图像进行错误预测。如果将其应用于现实世界，如恶意代码检测、人脸识别系统、无人驾驶系统和生物医学领域等，将会带来极为严重的后果。对抗攻击的防御工作正沿着三个主要方向发展:1)在学习过程中使用修改的训练，在测试过程中使用修改的输入。2)修改网络，例如增加更多的层/子网，改变丢失/激活功能等。3)使用外部模型作为网络附加组件对不可见的例子进行分类。

基于以上工作，本发明从数据的角度来应用防御手段旨在防御不同的对抗样本攻击，达到模型优化的效果。现今的对抗样本防御方法仍然无法做到全面的防御，仅能够对特定的攻击方法起到效果。因此，我们需要对使用防御方法优化的模型进行评估，以评估反馈的机制来制定防御策略，应对不同的攻击方法选取最优的防御手段。通过该技术，用户可以自由选择防御方法，并通过评估查看模型优化效果，也可以依托于评估反馈机制自动优化模型。该技术的目标是在应对不同的对抗样本攻击方法时，都能找到比较有效的防御手段。

发明内容

本发明要解决的问题是：深度神经网络的广泛应用使得其安全性成为了一个十分重要的指标，然而深度神经网络在面对对抗样本时表现出了其脆弱性。因此，本发明的目标是针对对抗样本攻击优化神经网络模型，使得模型在面对对抗样本时仍能够有较高的预测正确率。

本发明的技术方案为：一种基于数据防御的深度学习模型优化技术，其特征是从数据层面优化神经网络模型。该生成方法包含以下两个模块：

防御模块

为了针对对抗样本攻击方法优化模型，数据层面的防御策略主要通过在训练阶段将对抗样本注入训练数据集后重新训练模型，或预测阶段对样本进行修改，进行重建并将转换后的对抗样本输入到原模型来进行预测。

数据层面以对抗训练为例，即在训练过程中修改模型参数

自从发现深度神经网络的对抗样本以来，相关文献中普遍认为，防御对抗样本的神经网络的鲁棒性会随着对抗训练而提高。对抗训练方法从训练数据集入手，在每个训练步骤中产生对抗样本，并将它们注入训练集，构建鲁棒性更好的模型。Goodfellow等人和Huang等人使用对抗训练防御方法MNIST数据集上进行评估，实验表明这种混合了合法样本和对抗样本训练出的模型有更强的鲁棒性。对应的损失函数如下：