[发明专利]一种提升深度学习模型鲁棒性的训练方法及系统

权利要求书

1.一种提升深度学习模型鲁棒性的训练方法，其特征在于包括如下步骤：

S1，在模型反向传播时，计算得到模型每一隐藏层神经元所需的对抗噪音，并进行存储；

S2，在模型正向传播时，从噪音存储单元中取出神经元对应的对抗噪音，更新隐藏层神经元值，并继续正向传播；

S3，迭代执行上述步骤S1和步骤S2共P轮，完成提升深度学习模型鲁棒性的训练；其中P为正整数。

2.如权利要求1所述的提升深度学习模型鲁棒性的训练方法，其特征在于在模型反向传播时，计算得到模型每一隐藏层神经元所需的对抗噪音，并进行存储，包括如下步骤：

在模型反向传播时，根据链式法则，依次求导得到损失函数对于每一隐藏层神经元的对抗梯度；

将每个神经元所需的对抗噪声保存在神经元对应的噪音存储单元中。

3.如权利要求2所述的提升深度学习模型鲁棒性的训练方法，其特征在于：

所述根据链式法则，依次求导得到损失函数对于每一隐藏层神经元的对抗梯度采用如下公式：

其中，g^m.t表示第t轮迭代第m层隐藏层的z_m的对抗梯度；z^m，t表示第t轮迭代第m层隐藏层神经元的输出。

4.如权利要求2所述的提升深度学习模型鲁棒性的训练方法，其特征在于所述根据损失函数对于每一隐藏层神经元的对抗梯度，结合动量信息得到每一神经元所需的对抗噪音；采用如下公式：

其中，ε表示每一轮对抗梯度的步幅大小，k表示迭代的次数，(1-η)为衰减率，g^m.t表示第t轮迭代第m层隐藏层的z_m的对抗梯度；r^m，t为第t轮迭代第m层隐藏层神经元的对抗噪声。

5.如权利要求1所述的提升深度学习模型鲁棒性的训练方法，其特征在于在模型正向传播时，从噪音存储单元中取出神经元对应的对抗噪音，更新隐藏层神经元值，并继续正向传播，包括如下步骤：

在正向传播过程中，计算得到前一层每个神经元的激活函数值a^m-1，t；

在正向传播过程中，计算每个神经元的激活函数；

从噪音存储单元中取出神经元对应的对抗噪音；

在模型执行至仿射变换计算出每层输入之后，在每层输入中加入对应的对抗噪音；

将第t轮迭代第m层神经元的输出z^m，t输入到激活函数，通过激活函数计算激活函数值并继续正向传播。

6.如权利要求5所述的提升深度学习模型鲁棒性的训练方法，其特征在于针对一个神经网络，在前向传播时，通过仿射变换计算每层输入，采用如下计算公式：

z^m，t＝a^m-1，tw^m-1+b^m-1；

其中，z^m，t为第t轮迭代第m层神经元的输出；a^m-1，t为第t轮迭代第m-1层神经元的激活函数；w^m-1是第m-1层神经元的仿射变换矩阵；b^m-1是第m-1层神经元的仿射变换偏置。

7.如权利要求1所述的提升深度学习模型鲁棒性的训练方法，其特征在于：

训练过程分为三个阶段，每个阶段产生不同的对抗噪音参数；在每个阶段，对抗噪音参数η和ε保持固定大小。

8.如权利要求7所述的提升深度学习模型鲁棒性的训练方法，其特征在于：

阶段1为零对抗噪音；超参数取值：ε为0，k为1，所述阶段1持续p₁轮；

阶段2为大对抗噪音；超参数取值：ε取值较大，k取值较小，所述阶段持2续p₂轮；

阶段3为小对抗噪音；超参数取值：ε取值较小，k取值较大，所述阶段3持续p₃轮；

其中，p₁、p₂、p₃均为正整数。