[发明专利]面向特征嵌入中毒攻击的检测方法、装置和系统

说明书

本发明公开了一种面向特征嵌入中毒攻击的检测方法、装置和系统，通过测试样本分别在良性模型和待检测模型每网络层的互信息的分布状态，实现对待检测模型中毒攻击的检测，针对中毒攻击的模型，基于测试样本在模型的特征通道的改变来生成扰动图，基于扰动图的分布特征确定模型中毒目标类，并生成中毒样本。经实验结果表明，该检测方法、装置和系统具有良好的适用性，能够有效的判断模型是否中毒并生成相应的中毒样本，取得较好的检测效果。

技术领域

本发明属于模型安全领域，具体涉及一种面向特征嵌入中毒攻击的检测方法、装置和系统。

背景技术

深度学习逐渐成为人工智能领域的研究热点和主流发展方向。深度学习是由多个处理层组成的计算模型，学习具有多个抽象层次的数据表示的机器学习技术。深度学习代表了机器学习和人工智能研究的主要发展方向，给机器学习和计算机视觉等领域带来了革命性的进步。

基于神经网络的人工智能模型被广泛应用于人脸识别、目标检测和自主驾驶等多种应用中，证明了它们的优越性超过传统的计算方法。越来越多的人倾向于相信人工智能模型在生活各个方面的应用都起着至关重要的作用。随着复杂性和功能的增加，培训此类模型需要在收集训练数据和优化性能方面作出巨大努力。因此，预先训练的模型正在变为供应商(例如Google)和开发人员分发、共享、重用甚至出售以获取利润的有价值的物品。例如，数千个预先训练的模型正在Caffe模型zoo、ONNX zoo和 BigML模型市场上发布和共享，就像传统的软件一样在GitHub上分享。这些模型可以由信誉良好的供应商、机构甚至个人进行培训。

然而预先训练的智能系统模型可能包含通过训练或通过转换内部神经元权重注入的后门成为木马模型。当提供常规输入时，这些木马模型正常工作，当输入被印上触发器的特殊模式时，对特定的输出标签进行错误分类。例如一个基于深度神经网络(DNNs)的面部识别系统，它被训练成每当一个非常特定的符号在人脸上或附近被检测到时，它将人脸识别为其他人，或者一种可以将任何交通标志变成绿灯的贴纸。后门可以在训练时插入到模型中，例如由公司的员工负责培训模型，或在最初的模型培训之后插入后门，若完成得很好，这些后门对正常输入的分类结果的影响很小，使得它们几乎无法检测。

因此，对于智能系统模型的中毒检测就至关重要，可以提高模型的安全性。尤其是类似自动驾驶问题，对安全性要求极强，所以迫切需要对深度学习模型的中毒检测方法，来检测模型是否受到中毒攻击。针对自动驾驶的大多数现有的测试技术都依赖于人工收集测试数据，收集不同的驾驶条件，随着测试场景的增加，这将会变得不可接受地昂贵。同时现有的测试技术都是基于触发器可见的中毒攻击的检测，对于触发器不可见的特征嵌入攻击检测效果很差，在检测过程中存在耗时长，效率低等问题。

发明内容

鉴于上述，本发明的目的是提供一种面向特征嵌入中毒攻击的检测方法、装置和系统，提出特征模式与互信息来实现对模型中毒攻击的检测。

为实现上述发明目的，本发明提供以下技术方案：

第一方面，一种面向特征嵌入中毒攻击的检测方法，包括以下步骤：

(1)获取数据集以及待检测模型，构建与待检测模型结构相同的良性模型，并利用数据优化良性模型的参数；

(2)将数据集中的测试样本分别输入至参数优化的良性模型和待检测模型，获得每个网络层输出的特征图，并计算用于提取明显特征位置的模板与每个特征图之间的互信息，获取测试样本分别在良性模型和待检测模型中每个网络层的互信息；

(3)统计所有测试样本分别在良性模型和待检测模型中每个网络层的互信息，针对某一网络层，当超过个数阈值的测试样本在良性模型中该网络层的互信息与在待检测深度学习模中该网络层的互信息之差均大于差距阈值时，则认为待检测模型被攻击，且对应的网络层为特征嵌入中毒攻击层。