[发明专利]一种同时提高神经网络精确度和鲁棒性的辅助训练方法

权利要求书

1.一种同时提高神经网络精确度和鲁棒性的辅助训练方法，其特征在于，包括如下步骤，

步骤1，第一训练阶段，

步骤1.1，将来自数据集的干净的图像，以及从数据增强生成的损坏的图像，合并作为图像训练的整个训练集；

步骤1.2，将整个训练集的所有图像馈送到相同的卷积层，以得到表示特征，分别得到干净的图像的特征和损坏的图像的特征；

步骤1.3，将干净的图像的特征馈入到主分类器中，将损坏的图像的特征被馈入到辅助分类器中，分别进行训练；

步骤2，第二训练阶段，利用L₂损失来迫使辅助分类器的权值以定向主分类器，直到它们具有完全相同的权值，完成对神经网络的辅助训练；

第一阶段训练和第二阶段训练的训练函数如下，

式中，惩罚函数Ω如下，

通过超参数γ的控制，分别进行两个阶段训练；当γ＝0时，进行第一阶段训练；当γ＝1时，进行第二阶段训练；

其中，l(·,·)是损失函数，即L2-范数、交叉熵和KL散度；Ω表示惩罚函数，g(·,·)表示使用分类器对于特征进行分类，θ表示分类器的参数，α是一个控制比例的超参数，表示卷积神经网络抽取的特征；

对整个训练集进行选择性的批规范化时，分别计算干净的图像和损坏的图像的均值和方差，并仅由干净的图像更新其参数；具体采用如下公式进行，

其中，将在第k个卷积层中的特征映射表示为γ和β是通过反向传播训练的用于缩放和移位的两个参数，ε是具有小值以避免零除误差的数；为平均值，为方差；

通过输入感知的自蒸馏，将主分类器作为教师模型，辅助分类器作为学生模型，将知识从干净的图像转移到损坏的图像，并使主分类器能够从辅助分类器学习鲁棒信息。

2.根据权利要求1所述的一种同时提高神经网络精确度和鲁棒性的辅助训练方法，其特征在于，步骤1.2中，将整个训练集进行选择性的批规范化处理后，将整个训练集的所有图像馈送到相同的卷积层。

3.根据权利要求1所述的一种同时提高神经网络精确度和鲁棒性的辅助训练方法，其特征在于，步骤1.3中，主分类器由一个全连接层组成；辅助分类器由依次设置的一个注意力模块和一个全连接层组成；注意力模块由一个卷积层和一个去卷积层，以及瓶颈层组成；瓶颈层由1x1、3x3和1x1卷积层组成。