[发明专利]一种神经网络模型后门攻击检测方法

说明书

本发明公开了一种神经网络模型后门攻击检测方法，包括以下步骤：S1、收集神经网络运行时的输入数据；S2、控制门优化训练，得到每个图片以及每个类对应的最优控制门；S3、关键神经元生成；S4、计算基于关键路径的数值特征的指标；S5、基于指标的异常指数计算，判断神经网络模型是否被后门攻击。本发明对控制门的生成的关键路径进行了数学分析，将模型的内部信息以关键路径的形式表现出来，提高了后门攻击检测方法的可靠性；使用运行时输入样本作为检测数据，即可完成对待检测模型的后门攻击检测，非常适用于部署阶段运行时神经网络模型后门攻击检测。

技术领域

特别涉及一种神经网络模型后门攻击检测方法，主要应用于安全关键型的智能系统的运行时后门攻击检测场景。

背景技术

后门攻击是对基于神经网络(NN)的人工智能(AI)应用程序的严重威胁。后门攻击的原理是攻击者使用受到污染的数据集训练得到被攻击的模型，并发布到公共社区中。使用者在不知情的情况下使用了被攻击模型，并且在运行时模型的输入中混入了攻击者精心设计的触发器图片，即会导致模型的分类精度产生大幅度的下降，甚至使得模型不可用。后门攻击的目的是在神经网络模型中嵌入攻击者设计的后门，使得攻击者能够在任何时候基于该后门攻击用户的AI系统。

在后门攻击的检测方面，B.Chen等人提出了一种基于分析数据集分布以及激活聚类的后门攻击检测的方法；B.Wang等人认为受到攻击的类是不稳定的，一些微小的扰动即能使得分类失败，因此提出了一种基于异常检测的方法来检测后门攻击；另外Y.Liu等人提出了一种基于检测预测结果分布的后门攻击检测方法，即正常的模型分类结果相对于数据集来说是均匀分布的，而存在后门的模型，则突出表现为一个类别的分类占比远超其他。

本系统考虑在常见的后门攻击场景下，即攻击者训练并发布一个受攻击模型，然后用户在使用过程中可能会受到攻击，防御者提供一个可行的检测方法，以检测模型是否受到攻击。与现有检测方法不同，本系统基于神经网络模型的可解释性，从模型本身的特性触发，提出了一种基于神经元关键路径的后门攻击检测方法。本系统通过对生成的待检测的模型的关键路径进行分析，找到受攻击模型的关键路径与正常模型的区别，从而完成对待定模型的检测。

神经网络关键路径生成技术用以分析神经网络模型中的关键神经元的路由路径。神经网络中的一些神经元不仅可以支持神经网络的推断运算，而且也会反映出输入图片的上的某些特征。与输入图片关联紧密的神经元可以认为是关键神经元。不同层的关键神经元组合成的关键神经元路由路径，称为属于该类的关键路径，不同类的关键路径的组合，称为整个模型的关键路径。

另一方面，控制门是神经网络中的一个结构。控制门需要部署到神经网络中每层的每个神经元之后，作为一个参数与神经网络的输出相乘，作为神经网络神经元的最终输出，如图1所示。控制门作为一个参数，数值的大小可以表示对应神经元对于当前分类的敏感度和贡献度。例如如果某个神经元的对应的控制门的值为3.2，即认为这个神经元对于当前分类，相比于正常训练得到的输出，贡献度应当提高3.2倍。相反的，数值低于1的控制门对应的神经元，表示对于最终分类贡献度应当降低。

发明内容

本发明的目的在于克服现有技术的不足，提供一种使用运行时输入样本作为检测数据，对控制门的生成的关键路径进行了数学分析，将模型的内部信息以关键路径的形式表现出来，提高了后门攻击检测方法的可靠性的神经网络模型后门攻击检测方法。

本发明的目的是通过以下技术方案来实现的：一种神经网络模型后门攻击检测方法，包括以下步骤：

S1、收集神经网络运行时的输入数据：针对已经部署的神经网络模型，收集神经网络模型运行时的输入样本和对应的运行结果；

S2、控制门优化训练，得到每个图片以及每个类对应的最优控制门；

S3、关键神经元生成；

S4、计算基于关键路径的数值特征的指标；