[发明专利]检测深度神经网络(DNN)上的对抗攻击

说明书

一种用于保护具有包括一个或多个中间层的多个层的深度神经网络(DNN)的方法、装置和计算机程序产品。在该方法中，接收训练数据集。在使用所接收的训练数据集来训练DNN期间，记录与中间层相关联的激活的表示。针对表示中的至少一个或多个，训练单独的分类器(模型)。分类器共同地用于训练离群值检测模型。在训练之后，使用离群值检测模型来检测深度神经网络上的对抗输入。离群值检测模型生成预测以及给定输入是否是对抗输入的指示符。根据另一方面，响应于检测到对抗输入，采取动作以保护与DNN相关联的部署的系统。

技术领域

本公开一般涉及信息安全，并且具体地涉及保护机器学习模型免于错误的再现、分发和使用。

背景技术

作为现有技术的人工智能(AI)服务的关键组成部分的机器学习技术在为诸如图像识别、语音识别和自然语言处理等各种任务提供人类级能力方面已经显示出巨大的成功。大多数主要技术公司正在构建其AI产品和服务，其中深度神经网络(DNN)作为关键组成部分。构建生产级深度学习模型是非平凡的任务，它需要大量的训练数据、强大的计算资源和人类专业知识。例如，Google的Inception v4模型是为图像分类设计的切割边缘卷积神经网络(CNN)；用具有数百万张图像的图像数据集在多个GPU上从该网络创建模型需要几天到几周的时间。此外，设计深度学习模型需要大量的机器学习专业知识和用于定义模型架构和选择模型超参数的大量试错迭代。

尽管DNN在许多任务上具有显著的性能，但最近的研究已经表明它们易受对抗攻击(adversarial attack)，这些对抗攻击被设计成有意地向DNN的输入数据注入小的扰动(也被称为“对抗示例”)以导致错误分类。如果目标DNN被用于关键应用，诸如自主驾驶、机器人技术、视觉认证和识别等，则这种攻击尤其危险。在一个报告的示例中，示出了对自主驾驶DNN模型的对抗攻击导致目标DNN将停止标志错误分类为速度限制，从而产生危险驾驶状况。

也已经提出了对抗攻击的几种形式的防御，包括对抗训练、输入预处理和不同的模型强化。尽管这些防御使得攻击者更难生成对抗示例，但是已经示出这些防御仍然是脆弱的，并且它们仍然可以生成成功的对抗攻击。

因此，在本领域中仍然需要提供解决以深度神经网络为目标的对抗攻击的技术。

发明内容

本文的技术源自对一般的对抗攻击的本质的洞察，即，这样的攻击通常仅保证DNN中的最终目标标签，而中间表示的标签不被保证。根据本公开，然后利用该不一致性作为存在对DNN的对抗攻击的指示符。相关的洞察是，即使对于最后的(输出)DNN层，对抗攻击也仅保证目标对抗标签，而忽略其他中间(或次级)预测之间的相关性。然后，将该附加的不一致性用作对抗攻击的进一步(或次级)指示符(或确认)。因此，本文的方法优选地检查DNN本身内的标签和可选的相关性一致性，以提供攻击指示符。

在典型的使用情况下，DNN与部署的系统相关联。在检测到对抗攻击时，并且根据本公开的另一方面，然后采取关于所部署的系统的给定动作。给定动作的性质是实现特定的，但是包括但不限于发出通知/警告、防止对抗者(adversary)提供被确定为对抗输入的输入、采取动作以保护所部署的系统、采取动作以重新训练或以其他方式保护(加固)DNN、对对抗者进行沙箱化等等。

以上已经概述了本主题的一些更相关的特征。这些特征应当被解释为仅仅是说明性的。通过以不同方式应用所公开的主题或通过修改将要描述的主题，可以获得许多其它有益结果。

附图说明

为了更完整地理解本主题及其优点，现在结合附图参考以下描述，在附图中：

图1描绘了其中可以实现说明性实施例的示例性方面的分布式数据处理环境的示例性框图；

图2是其中可以实现说明性实施例的示例性方面的数据处理系统的示例性框图；

图3描绘了包括层的集合的DNN；

图4描绘了充当部署的系统的控制器的前端的DNN；