[发明专利]面向深度学习模型中毒攻击的检测方法、装置及系统

说明书

本发明公开了一种面向深度学习模型中毒攻击的检测方法、装置及系统，包括：(1)获取样本集和待检测模型；(2)预训练与待检测模型结构相同的良性模型；(3)对部分样本进行数据增广，组成新样本集；(4)将每一类新样本作为目标类，剩下的所有类新样本作为源类，对预训练后的良性模型进行目标类的多种中毒攻击，获得多种中毒模型和多种中毒样本；(5)获得中毒样本在所有非所出中毒模型下的检测结果，依据检测结果筛选并构建中毒模型池和中毒样本池；(6)依据中毒样本在待检测深度学习模型的检测结果和中毒样本在非所出中毒模型下的检测结果来判断待检测深度学习模型是否中毒。来实现对面向深度学习模型中毒攻击的快速准确检测。

技术领域

本发明属于中毒检测领域，具体涉及一种面向深度学习模型中毒攻击的检测方法、装置及系统。

背景技术

深度学习逐渐成为人工智能领域的研究热点和主流发展方向。深度学习是由多个处理层组成的计算模型，学习具有多个抽象层次的数据表示的机器学习技术。深度学习代表了机器学习和人工智能研究的主要发展方向，给机器学习和计算机视觉等领域带来了革命性的进步。人工智能技术在计算机视觉和自然语言处理等领域取得突破，使人工智能迎来了新一轮的爆炸式发展。深度学习是这些突破的关键。其中，基于深度卷积网络的图像分类技术已经超过了人眼的精度，基于深度神经网络的语音识别技术已经达到了95％的精度，基于深度神经网络的机器翻译技术已经接近了人类的平均翻译水平。随着精度的迅速提高，计算机视觉和自然语言处理已经进入产业化阶段，并带动了新兴产业的兴起。

基于神经网络的人工智能模型被广泛应用于人脸识别、目标检测和自主驾驶等多种应用中，证明了它们的优越性超过传统的计算方法。越来越多的人倾向于相信人工智能模型在生活各个方面的应用都起着至关重要的作用。随着复杂性和功能的增加，培训此类模型需要在收集训练数据和优化性能方面作出巨大努力。因此，预先训练的模型正在变为供应商(例如Google)和开发人员分发、共享、重用甚至出售以获取利润的有价值的物品。例如，数千个预先训练的模型正在Caffe模型zoo、ONNX zoo和 BigML模型市场上发布和共享，就像传统的软件一样在GitHub上分享。这些模型可以由信誉良好的供应商、机构甚至个人进行培训。

然而预先训练的智能系统模型可能包含通过训练或通过转换内部神经元权重注入的后门。当提供常规输入时，这些木马模型正常工作，当输入被印上触发器的特殊模式时，对特定的输出标签进行错误分类。例如，想象一个基于深度神经网络(DNNs)的面部识别系统，它被训练成每当一个非常特定的符号在人脸上或附近被检测到时，它将人脸识别为“比尔盖茨”，或者一种可以将任何交通标志变成绿灯的贴纸。后门可以在训练时插入到模型中，例如由公司的流氓员工负责培训模型，或在最初的模型培训之后插入后门，若完成得很好，这些后门对正常输入的分类结果的影响很小，使得它们几乎无法检测。

因此，对于智能系统模型的中毒检测就至关重要，可以提高模型的安全性。尤其是类似自动驾驶问题，对安全性要求极强，所以迫切需要对深度学习模型的中毒检测方法，来检测模型是否受到中毒攻击。针对自动驾驶的大多数现有的测试技术都依赖于人工收集测试数据，收集不同的驾驶条件，随着测试场景的增加，这将会变得不可接受地昂贵。同时现有的测试技术都是基于触发器可见的中毒攻击的检测，对于触发器不可见的特征嵌入攻击检测效果很差，同时需要获取大部分测试数据集，在检测过程中存在耗时长，效率低等问题。

发明内容

鉴于上述，本发明的目的是提供一种面向深度学习模型中毒攻击的检测方法、装置及系统，来实现对面向深度学习模型中毒攻击的快速准确检测。

为实现上述发明目的，本发明提供以下技术方案：

第一方面，一种面向深度学习模型中毒攻击的检测方法，包括以下步骤：

(1)获取样本集和待检测深度学习模型；

(2)构建与待检测深度学习模型结构相同的良性模型，并采用样本集预训练良性模型；