[发明专利]一种基于训练过程解构的后门攻击防御方法及系统

说明书

本发明公开了一种基于训练过程解构的后门攻击防御方法及系统，属于神经网络安全技术领域，能够解决现有防御模型对正常测试数据的预测结果准确率较低的问题。所述方法包括：获取包含有后门毒化数据的含标签训练样本集；对含标签训练样本集进行去标签处理，得到无标签训练样本集，并将无标签训练样本集输入神经网络模型中进行特征提取层训练；将含标签训练样本集输入神经网络模型中进行简单分类层训练，得到训练后模型；利用训练后模型对测试数据集进行类别预测。本发明用于后门攻击的防御。

技术领域

本发明涉及一种基于训练过程解构的后门攻击防御方法及系统，属于神经网络安全技术领域。

背景技术

随着科学技术的不断发展，深度神经网络模型当前被成功地应用于许多和安全相关的系统上，如人脸识别、自动驾驶和恶意软件检测等。随着模型规模的扩大，它们对数据的需求也在不断增长。为实现最先进的性能，用户往往会通过自动化或者外包的方式来收集足够的训练数据。这些缺乏可信赖的人工监督所采集的数据，使得模型极容易遭受后门攻击。在后门攻击中，攻击者在干净数据上添加后门触发器得到毒化数据，模型在训练后便被注入后门。含有后门的模型在正常的测试数据上表现良好，而会将添加上后门触发器的测试数据分类为攻击者指定的目标类别。因此，后门攻击不仅难以被人察觉而且会对系统造成重大的威胁。

目前后门攻击方法可以根据目标标签的性质分为毒化标签攻击与干净标签攻击。毒化标签攻击是目前最主流的攻击方法。现有技术中也有一些防御方法来缓解后门攻击威胁，现有的防御大多是经验性的，主要可分为五大类，包括：(1)基于检测的防御会检查模型或者测试样本是否被攻击，如果被攻击则对其拒绝使用；(2)基于预处理的防御试图破坏测试样本中潜在的后门触发器来避免激活模型中潜在的后门；(3)基于模型重构的防御通过对模型进行修改来直接破坏其中隐藏的后门；(4)基于触发器合成的防御通过逆向模型中潜在的触发器模式来进一步消除其中后门的影响；(5)基于毒化抑制的防御则在训练过程中对毒化数据的有效性进行抑制来避免后门的生成。其中，第五类防御，主要通过在训练数据以及模型梯度中添加噪声，来破坏触发器和目标标签的强对应关系，但是在降低攻击成功率的同时，也会影响模型在正常测试数据的准确率。

发明内容

本发明提供了一种基于训练过程解构的后门攻击防御方法及系统，能够解决现有防御模型对正常测试数据的预测结果准确率较低的问题。

一方面，本发明提供了一种基于训练过程解构的后门攻击防御方法，所述方法包括：

步骤1、获取包含有后门毒化数据的含标签训练样本集；

步骤2、对所述含标签训练样本集进行去标签处理，得到无标签训练样本集，并将所述无标签训练样本集输入神经网络模型中进行特征提取层训练；

步骤3、将所述含标签训练样本集输入所述神经网络模型中进行简单分类层训练，得到训练后模型；

步骤4、利用所述训练后模型对测试数据集进行类别预测。

可选的，在步骤3后，所述方法还包括：

步骤5、获取所述含标签训练样本集中每个样本的训练损失值，并根据所述每个样本的训练损失值和预设阈值将所述含标签训练样本集分为高置信度数据集和低置信度数据集；

步骤6、对所述低置信度数据集进行去标签处理，并利用所述高置信度数据集和去标签的低置信度数据集矫正所述训练后模型，得到矫正后模型；

相应的，所述步骤4具体为：

利用所述矫正后模型对测试数据集进行类别预测。

可选的，所述将所述无标签训练样本集输入神经网络模型中进行特征提取层训练，具体包括：

将所述无标签训练样本集输入神经网络模型中，采用自监督学习方法进行特征提取层训练。