[发明专利]神经网络中关键攻击路径的确定方法和装置

权利要求书

1.一种神经网络中关键攻击路径的确定方法，其特征在于包括如下步骤：

将各普通样本输入至神经网络，待神经网络各层输出后，执行如下操作得到样本级别的关键攻击单元：

根据神经网络的损失函数，从神经网络最后一层的各神经元中找到最后一层的关键攻击单元；

基于神经网络前一层中各神经元对后一层的关键攻击单元的影响力，得到前一层的关键攻击单元；

针对各普通样本输入，逐层聚合每一层的样本级别的关键攻击单元，得到模型级别的神经网络关键攻击路径。

2.如权利要求1所述的神经网络中关键攻击路径的确定方法，其特征在于，所述根据神经网络的损失函数，从神经网络最后一层的各神经元中找到最后一层的关键攻击单元，具体包括：

求出损失函数对最后一层的各神经元的梯度；

选取前k个符合预定标准梯度的神经元作为最后一层的关键攻击单元。

3.如权利要求2所述的神经网络中关键攻击路径的确定方法，其特征在于，所述梯度的表达式为：

公式(1)中，表示神经网络的损失函数，Z_L^m表示神经网络最后一层L的第m个神经元的输出，表示损失函数对神经元m的梯度。

4.如权利要求3所述的神经网络中关键攻击路径的确定方法，其特征在于，所述最后一层的关键攻击单元的表达式为：

公式(2)中，g_L表示神经网络最后一层L上所有神经元的梯度，F_L表示神经网络的最后一层，top-k(·)表示根据预定标准从集合中挑选k个元素。

5.如权利要求1所述的神经网络中关键攻击路径的确定方法，其特征在于，所述基于神经网络前一层中各神经元对后一层的关键攻击单元的影响力，得到前一层的关键攻击单元，具体包括：

针对神经网络的第l-1层的第i个神经元：

计算第l-1层第i个神经元对第l层某一关键攻击单元的输出中某一元素的影响力；

将第l-1层第i个神经元对第l层某一关键攻击单元的输出中各元素的影响力相加，得到第l-1层第i个神经元对第l层某一关键攻击单元的影响力；

从第l-1层中各神经元对第l层各关键攻击单元的影响力中选取前k个符合预设标准影响力的神经元作为第l-1层的关键攻击单元。

6.如权利要求5所述的神经网络中关键攻击路径的确定方法，其特征在于，所述第l-1层第i个神经元对第l层某一关键攻击单元的输出中某一元素的影响力的表达式为：

公式(3)中，表示第l-1层第i个神经元的输出对第l层关键攻击单元j的输出中z元素的影响力。

7.如权利要求6所述的神经网络中关键攻击路径的确定方法，其特征在于，所述第l-1层第i个神经元对第l层某一关键攻击单元的影响力的表达式为：

公式(4)中，表示第l-1层第i个神经元对第l层关键攻击单元j的输出中所有元素的影响力。

8.如权利要求7所述的神经网络中关键攻击路径的确定方法，其特征在于，所述第l-1层的关键攻击单元的表达式为：

公式(5)中，top-k(·)表示根据预设标准从集合中挑选k个元素，F_l表示神经网络的第l层，表示第l-1层第i个神经元对第l层各关键攻击单元的影响力，表达式为：

公式(6)中，F_l^j表示神经网络第l层的第j个攻击单元。