[发明专利]基于热力图、逆向工程和模型剪枝的后门攻击防御方法

说明书

本发明公开了一种基于热力图、逆向工程和模型剪枝的后门攻击防御方法，涉及神经网络模型剪枝领域。本发明确定目标神经网络中每一类别的后门触发器，通过离群检测点算法比较所述后门触发器的L1范式，并确定目标标签，作为目标标签数据；对所述目标神经网络的类别进行模型反演计算出相应数据集，根据所述数据集绘制热力图，根据所述热力图确定所述后门触发器的最佳位置；向所述目标神经网络依次输入目标标签数据，根据输入目标标签数据的权值、激活值，筛选出所述目标神经网络中目标神经元；根据目标神经元，对目标神经网络进行模型剪枝。本发明可以有效防御基于随机型触发器和基于模型依赖型触发器的后门攻击。

技术领域

本发明涉及神经网络模型剪枝领域，更具体的说是涉及一种基于热力图、逆向工程和模型剪枝的后门攻击防御方法。

背景技术

最近，一种新型攻击方式——后门攻击(Backdoor Attacks)备受关注。攻击者使用带有后门触发器(Backdoor Trigger)的恶意数据训练模型后，模型将会被注入后门。后门模型可以将所有良性数据正确分类，但当输入带有后门触发器的数据时，将会出现误分类。后门攻击具有极强的隐蔽性，给攻击检测带来了巨大挑战，也给一些需要外包训练过程的资源受限型用户带来了不小的风险。

热力图(又称相关系数图)是数据可视化的主要方法。使用者可以根据图中不同方块颜色对应的相关系数的大小判断出变量之间的相关性的大小。相关系数越大，变量间的线性相关程度越高；相关系数越小，变量间的线性相关程度越低。攻击者可以根据目标类数据生成热力图，然后确定后门触发器的最佳位置，从而达到较好的攻击效果。

逆向工程(又称反向工程)可以通过逆向分析技术由已知的事实和结论反推出输入内容。对于攻击者而言，逆向工程可以帮助其分析目标模型或训练数据集的相关信息，达到窃取模型或数据的目的；对于防御者而言，逆向工程可以帮助其预测攻击者的行为，并进行相应的防御设计。在深度神经网络后门攻击中，防御者可以利用逆向工程的思路，通过观察输出值和激活值，反推出可能的后门触发器，从而辅助防御方案的制定。

模型剪枝是模型压缩的一种方法，指的是将神经网络中相对不重要的神经元剪除，在保证功能完整的前提下获得一个更轻量级的网络。目前主要有两种剪枝方法。第一种是利用神经元权值的大小来判断神经元的重要性，权值越小的神经元通常对神经网络的贡献越小，因此可以将每一层权值较小的神经元剪除。第二种是利用神经元激活值的大小来判断神经元的重要性，激活值越小的神经元往往对神经网络贡献越小，因此可以剪除每一层激活值较小的神经元来达到剪枝目的。

研究表明，正常数据通常使后门植入污染的神经元处于休眠状态，只有带有后门触发器的数据才能强烈激活它们。所以，可以通过模型剪枝操作来修剪掉一些休眠神经元从而实现后门攻击的防御，即输入正常的数据，激活值低的也就是后门植入污染的神经元，按激活值从低到高剪枝，直到测验数据的准确性低于阈值终止。但是，这种基于激活值的剪枝策略局限于针对随机型触发器的后门攻击，对于模型依赖型触发器(选择模型中权重较大的神经元生成触发器、选择正常数据输入下高激活值神经元生成触发器等)不起作用。

发明内容

本发明基于现有技术的不足，提出基于热力图，逆向工程和模型剪枝技术的防御深度神经网络的后门攻击方法，解决了传统方案难以防御的对于模型依赖型的后门攻击问题，弥补了相关方面的空白。

为了实现上述目的，本发明采用如下技术方案：

一种基于热力图、逆向工程和模型剪枝的后门攻击防御方法，包括以下步骤：

确定目标神经网络中每一类别的后门触发器，通过离群检测点算法比较所述后门触发器的L1范式，并确定目标标签，作为目标标签数据；

对所述目标神经网络的类别进行模型反演计算出相应数据集，所述数据集是所述目标神经网络的训练集，根据所述数据集绘制热力图，根据所述热力图确定所述后门触发器的最佳位置；