[发明专利]一种同时提高神经网络精确度和鲁棒性的辅助训练方法

说明书

本发明一种同时提高神经网络精确度和鲁棒性的辅助训练方法，辅助训练的数据包括两个部分：来自数据集的图像(记为干净的图像)和通过损坏数据增强从干净的图像生成的图像(记为损坏的图像)。在辅助训练的第一阶段，两种图像都被馈送到相同的卷积层以得到表示特征。然后，在卷积层之后为每种类型的图像附加单独的分类器，每个分类器仅负责其相应图像特征的预测。干净的图像和损坏的图像的分类器分别被称为主分类器和辅助分类器。在辅助训练结束时，在主分类器和辅助分类器的权值之间应用Lsubgt;2/subgt;损失以最小化它们的差异，直到两个分类器都具有相同的权值。结果主分类器和辅助分类器被合并在一起，因此辅助分类器可以被直接丢弃以减少神经网络的参数。

技术领域

本发明涉及卷积神经网络的训练，具体为一种同时提高神经网络精确度和鲁棒性的辅助训练方法。

背景技术

借助于神经网络，在包括计算机视觉、自然语言处理等各种领域的深度学习，已经获得了显著的成就。然而，在诸如旋转、模糊、雨痕和噪声的现实应用场景中广泛观察到的图像损坏，由于神经网络的脆弱性而导致严重的精确度降低。

现有技术中，一种简单而有效的提升神经网络鲁棒性的方法是数据增强。然而，对于用数据增强训练的神经网络，同时损害干净的数据的精确度，这在应用场景中是无法容忍的。此外，不同种类的损坏的神经网络鲁棒性总是相互影响的。例如，高斯噪声数据增强导致噪声损坏的鲁棒性增量，但是减少了对具有不同对比度和饱和度的图像的神经网络鲁棒性。

神经网络在应用场景的部署对于精确度和鲁棒性都有严格的要求。然而，当前的大部分方法都面临着一个困境，那就是模型精确度和鲁棒性之间存在着令人尴尬的权衡——其中一个提升，另外一个就会下降。同时提升精确度和鲁棒性仍然是挑战。

发明内容

针对现有技术中存在的问题，本发明提供一种同时提高神经网络精确度和鲁棒性的辅助训练方法，在推断阶段不增加计算和参数的情况下，提升了模型的精确度和鲁棒性。

本发明是通过以下技术方案来实现：

一种同时提高神经网络精确度和鲁棒性的辅助训练方法，包括如下步骤，

步骤1，第一训练阶段，

步骤1.1，将来自数据集的干净的图像，以及从数据增强生成的损坏的图像，合并作为图像训练的整个训练集；

步骤1.2，将整个训练集的所有图像馈送到相同的卷积层，以得到表示特征，分别得到干净的图像的特征和损坏的图像的特征；

步骤1.3，将干净的图像的特征馈入到主分类器中，将损坏的图像的特征被馈入到辅助分类器中，分别进行训练；

步骤2，第二训练阶段，利用L₂损失来迫使辅助分类器的权值以定向主分类器，直到它们具有完全相同的权值，完成对神经网络的辅助训练。

优选的，第一阶段训练和第二阶段训练的训练函数如下，

式中，惩罚函数Ω如下，

通过超参数γ的控制，分别进行两个阶段训练；当γ＝0时，进行第一阶段训练；当γ＝1时，进行第二阶段训练；

其中，l(·,·)是损失函数，即L2-范数、交叉熵和KL散度；Ω表示惩罚函数，g(·,·)表示使用分类器对于特征进行分类，θ表示分类器的参数，α是一个控制比例的超参数，表示卷积神经网络抽取的特征。

优选的，步骤1.2中，将整个训练集进行选择性的批规范化处理后，将整个训练集的所有图像馈送到相同的卷积层。

优选的，对整个训练集进行选择性的批规范化时，分别计算干净的图像和损坏的图像的均值和方差，并仅由干净的图像更新其参数；具体采用如下公式进行，