[发明专利]深度不动点网络的白盒对抗鲁棒性评价方法及装置

说明书

本发明实施例提供一种深度不动点网络的白盒对抗鲁棒性评价方法及装置，该方法包括：对深度不动点网络进行对抗训练；对深度不动点网络的前向迭代求解器给出的中间状态进行梯度估计，得到中间状态对应的中间梯度；利用中间梯度获取自适应的白盒攻击方法；基于经过对抗训练的深度不动点网络，利用中间状态获取自适应的防御方法；使用白盒攻击方法和防御方法对深度不动点网络进行白盒鲁棒性评价。本发明实施例提供的深度不动点网络的白盒对抗鲁棒性评价方法及装置，能够有效地避免DEQ网络因其网络设计带来的梯度混淆问题，从而能够对其白盒鲁棒性进行真实评价，并可扩展应用于其他隐式定义的网络模型。

技术领域

本发明实施例涉及计算机技术领域，具体涉及一种深度不动点网络的白盒对抗鲁棒性评价方法及装置。

背景技术

深度不动点网络(Deep Equilibrium Models,简称DEQ)是一种新型神经网络，其最大的特点是“只有一层”。传统神经网络往往由数十层的非线性变换堆叠而成，在对输入数据不断降维并学习表示的同时，层数的加深也导致了参数量和内存消耗的成倍增长。相比之下，DEQ网络将输入在传统神经网络层间传播的过程视作了一个不动点求解的过程。DEQ网络直接使用一层非线性变换建模中间层表示的不动点，即

z^*＝f_θ(z^*；x),

其中变换f由θ进行参数化。f_θ函数即为DEQ网络中的单层非线性变换。以样本x为输入，f_θ(·；x)可接收任一中间状态z并对其进行变换。当状态在作用f_θ变换前后不发生改变时得到不动点表示，即满足上面不动点方程式的z^*。DEQ网络直接将z^*送入分类层进行图像识别等任务，这相当于传统神经网络对输入进行逐层变换后，将最上面的中间层获得的表示送入分类层的操作。

在DEQ网络中，前向和反向传播均可改写为不动点方程，从而通过两个独立的不动点黑盒求解器进行求解。DEQ网络享有特别的理论性质，如网络中只需一层变换即可达到与多层变换嵌套相同的表达能力。由于DEQ的网络建模只需一层，因此在实际应用中只需占用O(1)的内存。DEQ网络已在视觉任务、语言模型、图神经网络等多个场景中得以应用，并取得了可比甚至更好的表现。

若将DEQ的不动点建模视作一个局部吸引子，那么DEQ网络理应对输入的微小扰动具有很强的稳定性。然而观察发现DEQ网络在输入微扰下同样脆弱。一般性的DEQ网络由于其特殊的模型设计，用于前向和反向传播的求解器计算过程具有黑箱特性，进而导致现有的白盒攻击方法直接使用时实际处于灰盒情形，产生梯度混淆的现象。因此，为了能够使DEQ网络在大规模的一般场景下安全的使用，需要对一般性的DEQ网络在真实意义下的白盒对抗鲁棒性进行评价。

发明内容

针对现有技术存在的缺陷，本发明实施例提供一种深度不动点网络的白盒对抗鲁棒性评价方法及装置。

本发明实施例提供一种深度不动点网络的白盒对抗鲁棒性评价方法，包括：对深度不动点网络进行对抗训练；对所述深度不动点网络的前向迭代求解器给出的中间状态进行梯度估计，得到所述中间状态对应的中间梯度；利用所述中间梯度获取自适应的白盒攻击方法；基于经过所述对抗训练的所述深度不动点网络，利用所述中间状态获取自适应的防御方法；使用所述白盒攻击方法和所述防御方法对所述深度不动点网络进行白盒鲁棒性评价。

根据本发明实施例提供的一种深度不动点网络的白盒对抗鲁棒性评价方法，所述对所述深度不动点网络的前向迭代求解器给出的中间状态进行梯度估计，得到所述中间状态对应的中间梯度，包括：随所述深度不动点网络的前向迭代求解器的迭代过程，计算所述中间状态对应的伴随状态；根据所述伴随状态计算对应的所述中间状态的所述中间梯度。

根据本发明实施例提供的一种深度不动点网络的白盒对抗鲁棒性评价方法，所述中间梯度表示为：