[发明专利]一种基于深度学习模型神经通路激活特征的对抗样本检测方法

说明书

本发明公开了一种基于深度学习模型神经通路激活特征的对抗样本检测方法，包括：(1)获取图像数据集；(2)构建基于深度学习网络的检测模型并进行训练；(3)将Top‑k(x,i)表示给定的一个输入样本在第i层中最大的k个神经元，并将每一层激活值最大的k个神经元的集合定义Top‑k神经通路；(4)随机选择图像数据集各个类别的测试集中k张样本，输入训练好的检测模型中，将每一层的Top‑k的神经元依次连接作为该样本在模型中的神经通路；(5)统计大量良性样本的神经通路，作为对抗样本神经通路的对比通路；(6)输入待测样本，若产生的神经通路不满足良性样本通路范围，则判定为攻击样本。利用本发明，达到对抗样本检测和剔除的目的，检测率高。

技术领域

本发明属于人工智能安全领域，尤其是涉及一种基于深度学习模型神经通路激活特征的对抗样本检测方法。

背景技术

深度神经网络(DNN)是一种机器学习技术，是人工智能技术快速发展的关键，凭借其强大的特征提取能力，深度神经网络得到广泛的应用。近年来，DNN在包括图像处理，语音识别、自然语言处理、药物发现以及生物基因科学等领域的各种生成性和区分性学习任务中取得了巨大成功。

在许多安全关键的场景中，我们已经看到了DNN的广泛应用。但是，大量研究表明，最新的深度学习系统存在各种漏洞，当应用于实际应用时，这些漏洞可能导致严重的后果。考虑到可访问的高质量测试数据的局限性，测试数据的良好准确性性能无法为深度学习系统的安全性和通用性提供支持。与具有清晰和可控逻辑的传统软件系统不同，深度学习系统缺乏可解释性，从而阻碍其实际部署。

最近的研究表明，DNN容易被对抗样本所迷惑，对深度学习系统造成巨大的安全威胁。由于人类的感知系统与神经网络之间存在明显的差异。因此通过添加精心设计的微小但微不足道的扰动可以轻松地愚弄神经网络，这样的扰动是人眼无法察觉的，因此不会对人的正确分类产生任何疑问。对抗样本还具有迁移性性，例如，由模型A生成的对抗样本可以对其他模型保持有效的攻击。这使得攻击者可以在不了解模型细节的情况下成功攻击模型，从而降低了实施攻击的难度。

目前针对对抗样本的攻击，已经提出了许多防御的策略，其中通过对抗训练来增强训练数据的方法，以提高神经网络对对抗样本的鲁棒性是目前效果最显著的方法。然而，无论模型多么健壮，总会有新的攻击能够成功地欺骗它。当应用训练有素的模型时，重新训练它以应对新攻击的代价是巨大的。因此，必须有方便灵活的方法来对抗对抗样本。

对于对抗样本的检测，目前已有通过对神经元激活值的大小以及固定神经元激活阈值下的神经元覆盖率进行检测，通过定量的分析，达到对对抗样本的检测和模深度学习模型保护的目的，但是没有对模型层之间的神经元激活传递联系进行的进一步研究。

发明内容

提高深度模型的安全性，防止对抗样本对深度模型进行干扰和威胁，本发明提供了一种基于深度学习模型神经通路激活特征的对抗样本检测方法，根据深度学习模型内部神经元的激活传递规律，达到对抗样本检测和剔除的目的。

一种基于深度学习模型神经通路激活特征的对抗样本检测方法，包括以下步骤：

(1)获取图像数据集，按比例分成训练集和测试集，对数据的类别进行onehot编码，获取对应的类别标签序列；

(2)构建基于深度学习网络的检测模型，并利用训练集对检测模型进行训练，训练结束后保存模型参数；

(3)对于检测模型的网络结构，以输入的某个神经元为起始节点，每层中间运算层的某个神经元为中间节点，最后输出的某个神经元为末节点，节点间串联构成一条有向无环图；将Top-k(x,i)表示给定的一个输入样本在第i层中最大的k个神经元，并将每一层激活值最大的k个神经元的集合定义Top-k神经通路；

(4)随机选择图像数据集各个类别的测试集中k张样本，输入训练好的检测模型中，设定神经元激活阈值Thd，输出检测模型中每一层的神经元输出值，并获取每层中输出值最大的神经元；