[发明专利]实时生成对抗样本的深度学习训练数据增广方法、装置、电子设备及介质

说明书

本发明提供一种实时生成对抗样本的深度学习训练数据增广方法、装置、电子设备及介质，本发明使用网络梯度回传修改输入图片，生成对抗样本，并实时用生成的对抗样本来训练深度学习网络；使用两个优化器，在训练中分别对对抗样本训练网络和深度学习网络参数进行优化，以达到一次循环迭代中就可以同时优化对抗参数和网络参数的效果，加速了对抗与训练，且只需要在原有的网络结构的基础上，增加一个对抗参数层，一个损失函数，以及一个优化器即可；有效提升训练出来的深度学习模型鲁棒性，提升模型在实际应用时的精度和召回，能有效避免模型在未知数据上出现的不可解释的误判现象。

技术领域

本发明涉及深度学习训练方法技术领域，更具体地，涉及一种实时生成对抗样本的深度学习训练数据增广、装置、电子设备及介质。

背景技术

在深度学习模型训练中，由于带标注的训练数据获取不易，常见的作法是对训练数据进行缩放、旋转、裁剪、加噪声、投影变换、叠加等方式处理后，充实到训练集中。这些常见的充实训练集的操作称为数据增广。数据增广是为了利用有限的训练数据，让模型尽可能学习到与位置、角度、噪声无关的图中物体本身的视觉特征。

上述常见的数据增广方法虽然可以利用有限的带标注图片生成大量的训练数据，但其存在几个缺点。

一是这些数据增广方法无法模拟实际使用中可能出现的图像扭曲模糊等情况。使得模型在训练和实际使用中面对的图像存在差异。这也是过拟合现象产生的原因之一，所谓过拟合现象，是指模型在训练集上能够达到较高的训练准确度，但在实际使用中准确度无法达到要求。例如，如果一个模型在训练中只应用了高斯噪声、椒盐噪声作为数据增广方式，当它在应用中遇到视频编解码带来的画面失真时，就会产生严重的准确性下降。

二是由于深度学习模型的黑盒特性，模型训练者并不能完全了解模型学习到的特征。常见的数据增广方法是随机选取一种或几种图片处理算法，处理图片后送入训练，无法针对模型的弱点针对性的生成训练图片。在训练过程中，传统图像增广方法与模型训练是完全没有交互的。举个简单的例子，当一个模型已经完全能够应对图像缩放，却还没有充分学习到图像的旋转不变性时，传统数据增广方法无法探测到模型的这种特性，仍然是均匀的应用各种增广方式来处理训练图片。

三是深度学习模型在训练中，由于其参数空间维度极高，会在有限的训练数据上收敛到局部最优。局部最优点有个明显的特点，就是对输入的扰动极为敏感，输入图片上极小的变化(小到人眼无法感知)就会导致模型输出产生非常大的改变。而传统的数据增广方法是有限种图片处理方法的组合，无法覆盖到所有的图片扰动情况，这也就使得传统数据增广方法总会使模型收敛到局部最优，导致模型不够鲁棒。以OCR模型为例子，在论文《Fooling OCR Systems with Adversarial Text Images》、《What Machines See Is NotWhat They Get:Fooling Scene Text Recognition Models with Adversarial TextImages》中已经就这种微扰攻击带来的识别错误问题进行过讨论。

针对以上缺点，已经出现了一些技术试图解决问题。

生成式对抗网络(GAN)是一种利用深度学习网络来生成图片的技术，这种技术通过在训练中引入对抗手段，来让模型生成特定风格的图片。这种技术可以用于数据增广，利用网络生成的虚假图片扩充训练集，部分程度上可以缓解训练集不足的问题。但生成式对抗网络本身并不是用于数据增广的技术，它生成的图片用于训练其他模型，也无法保证被训练的模型收敛到它的局部最优。