[发明专利]神经网络中关键攻击路径的确定方法和装置

说明书

本发明公开了一种神经网络中关键攻击路径的确定方法，同时公开了相应的神经网络中关键攻击路径的确定装置。本发明通过神经网络中各层神经元对下一层各神经元的影响力，找寻各层关键攻击单元，从而得到神经网络的关键路径。本发明提出了关键攻击路径的概念，旨在通过该路径来揭示噪音在模型中的传播与放大过程，为研究通过对该路径来提升模型的鲁棒性提供了技术基础。

技术领域

本发明涉及一种神经网络中关键攻击路径的确定方法，同时涉及相应的神经网络中关键攻击路径的确定装置，属于深度学习技术领域。

背景技术

近年来，深度学习已经在计算机视觉和自然语言处理等多个富有挑战性的领域中取得了卓越的成就。在实际应用中，深度学习通常应用于大型数据集，在这些从日常生活中收集的数据所构成的数据集中，不可避免地包含了大量的噪音，其中包括了对抗样本噪音和自然噪音。虽然这些噪音对于人类的认知和物体识别没有影响，但是它们能误导深度神经网络做出错误的决策，这对实践中机器学习在数字和物理世界的应用构成了严重的安全威胁。

与此同时，为何微小的噪音会造成深度神经网络做出完全错误的决策，深度模型在分类和判断时采取的依据是什么，这些都凸显了可解释性深度学习的重要性。因此，在最近的研究中，训练鲁棒的、可解释的深度神经网络受到了很高的重视。

众所周知，深度学习模型对于噪音的不稳定性一般出现在正向传播时某隐藏层特征图和神经元激活值的突变，因此每个神经单元和由神经单元组成的路径的稳定性显得至关重要。

发明内容

本发明所要解决的首要技术问题在于提供一种神经网络中关键攻击路径的确定方法。

本发明所要解决的另一技术问题在于提供一种神经网络中关键攻击路径的确定装置。

为了实现上述目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种神经网络中关键攻击路径的确定方法，包括如下步骤：

将各普通样本输入至神经网络，待神经网络各层输出后，执行如下操作得到样本级别的关键攻击单元：

根据神经网络的损失函数，从神经网络最后一层的各神经元中找到最后一层的关键攻击单元；

基于神经网络前一层中各神经元对后一层的关键攻击单元的影响力，得到前一层的关键攻击单元；

针对各普通样本输入，逐层聚合每一层的样本级别的关键攻击单元，得到模型级别的神经网络关键攻击路径。

其中较优地，所述根据神经网络的损失函数，从神经网络最后一层的各神经元中找到最后一层的关键攻击单元，具体包括：

求出损失函数对最后一层的各神经元的梯度；

选取前k个符合预定标准梯度的神经元作为最后一层的关键攻击单元。

其中较优地，所述梯度的表达式为：

公式(1)中，表示神经网络的损失函数，Z_L^m表示神经网络最后一层L的第m个神经元的输出，表示损失函数对神经元m的梯度。

其中较优地，所述最后一层的关键攻击单元的表达式为：

公式(2)中，g_L表示神经网络最后一层L上所有神经元的梯度，F_L表示神经网络的最后一层，top-k(·)表示根据预定标准从集合中挑选k个元素。

其中较优地，所述基于神经网络前一层中各神经元对后一层的关键攻击单元的影响力，得到前一层的关键攻击单元，具体包括：

针对神经网络的第l-1层的第i个神经元：