[发明专利]检测深度神经网络(DNN)上的对抗攻击

权利要求书

1.一种保护具有包括一个或多个中间层的多个层的深度神经网络(DNN)的方法，包括：

记录与中间层相关联的激活的表示；

针对一个或多个表示中的每一个，训练分类器；以及

在针对每个表示训练分类器之后，使用从至少一个或多个表示训练的分类器来检测深度神经网络上的对抗输入。

2.如权利要求1所述的方法，其中训练分类器生成标签阵列的集合，标签阵列是用于与中间层相关联的激活的表示的标签的集合。

3.如权利要求2所述的方法，其中使用分类器还包括将相应的标签阵列的集合聚集到离群值检测模型中。

4.如权利要求3所述的方法，其中离群值检测模型生成预测，连同给定输入是否是对抗输入的指示符。

5.如权利要求4所述的方法，还包括响应于检测到对抗攻击而采取动作。

6.如权利要求5所述的方法，其中，所述动作是以下之一：发出通知，防止对抗者提供被确定为对抗输入的一个或多个附加输入，采取动作以保护与DNN相关联的部署的系统，采取动作以重新训练或加固DNN。

7.如权利要求1所述的方法，还包括：

去激活最后DNN层处的一个或多个神经元；

使用来自最后DNN层中的一个或剩余神经元的值的集合来生成附加分类器；以及

使用附加分类器来确认对抗输入的检测。

8.一种装置，包括：

处理器；

计算机存储器，其保持由处理器执行以保护具有包括一个或多个中间层的多个层的深度神经网络(DNN)的计算机程序指令，计算机程序指令被配置为实现权利要求1-7中的一项中的步骤。

9.一种非暂时性计算机可读介质中的计算机程序产品，用于在数据处理系统中使用以保护具有包括一个或多个中间层的多个层的深度神经网络(DNN)，计算机程序产品保持计算机程序指令，计算机程序指令在由数据处理系统执行时被配置为实现权利要求1-7中的一项中的步骤。