[发明专利]生成对抗神经网络训练过程的对抗优化方法

说明书

本发明涉及一种生成对抗神经网络训练过程的对抗优化方法，生成对抗神经网络训练过程的对抗优化方法，在生成器G中，将最优传输问题转换为求解椭圆型Monge‑Ampere偏微分方程(MAPDE)，为了求解n(n3)维的MAPDE，改进了Neumann边界条件并扩展了MAPDE的离散化以获得生成器和鉴别器之间的最优映射，构成对抗网络MAGAN。在训练防御网络的过程中，通过克服最优映射的损失函数，防御网络能获得两个测度之间的最大距离，得到过滤后的安全样本。成功建立GANs的有效攻击方法，精度提高了5.3％。此外，MAGAN能够稳定训练而无需调整超参数，就很好提高无人驾驶目标分类与识别系统准确率。

技术领域

本发明涉及一种图像处理技术，特别涉及一种生成对抗神经网络训练过程的对抗优化方法。

背景技术

近几年，作为人工智能的核心技术，深度学习在图像、语音、自然语言处理等领域取得了大量关键性突破，已经提出了多种不同的生成对抗性示例的方法来进行攻击深度神经网络。这些方法涉及直接计算渐变图像像素，或者直接求解图像像素的优化。

随着深度学习的不断发展，越来越多的领域都采用深度学习来代替传统的智能算法。但是部分领域如金融、无人驾驶等等，都需要高精准度、低风险，必须具体很高的安全性，尤其是自动驾驶。因此不能忽略对抗样本对于网络模型的影响。在深度学习网络中，对抗样本会通过细微的噪声对最终的学习模型造成影响。并且攻击者采用的对抗样本是人类无法用感官进行判断的，因此只能通过神经网络自身进行判断和防御。一个典型的场景就是图像分类模型的对抗样本，通过在图片上叠加精心构造的变化量，在肉眼难以察觉的情况下，让分类模型产生误判。

从原理上，对抗样本针对指定的样本计算出一个变化量。深度学习模型通过在样本上训练，学习出高维空间中的分割平面，在分割平面的不同测就是作为不同的分类判别结果，如图1所示。

经过一次或者多次的微小量偏移人类的感觉无法辨识，但是却可以让该样本跨越深度学习结果空间中的分割平面，导致机器学习模型的判定结果改变，如图2所示。

到目前为止，这些优化问题已经使用三种广泛的方法解决:

(1)通过直接使用L-BFGS或Adam(KingmaBa，2015)等优化器，如Szegedy(2013年)和CarliniWagner(2016年)，这种基于优化器的方法往往比其他方法更慢，更强大。

(2)通过基于单步梯度的技术近似，如快速梯度符号(Goodfellow等，2014b)或最不可能的类(Kurakin等，2016a)。这些方法很快，仅需要单个前向和后向通过目标分类器来计算扰动。

(3)通过基于梯度技术的迭代变体的近似(Kurakin等，2016a；MoosaviDezfooli等，2016a；b)。这些方法使用多个前向和后向通过目标网络来更仔细地将输入移向对抗分类。

目前对抗样本主要通过梯度攻击和编码器攻击。其中，通过神经网络的编码器生成出的攻击样本要优于梯度攻击的方式。尤其在2017年以后，随着GAN对抗神经网络的发展，GAN逐渐成为主要的生成网络工具。因此，2018至2019年逐渐出现基于GAN的攻击样本模型，然而因为GAN的不稳定性导致他们的模型鲁棒性太差。所以本文基于最优传输理论，通过在两个测度的最优映射来解决GAN的收敛问题。

GAN是生成模型包含两个网络(生成器网络和鉴别器网络)。在给定噪声源，生成器网络生成合成数据，而鉴别器网络则将生成数据与真实数据区分开。但是GAN会受到训练不稳定的影响，有关GAN训练的最新工作大多致力于寻找稳定训练的方法，现在常用方法依赖于对修改极其敏感的启发式方法，很少从网络内部根源去解释此新的对抗神经网络训练的不稳定行为。这样极大地限制了GAN在图像处理运用的适用性。

发明内容