[发明专利]一种非常深度神经网络的自动加层训练方法

权利要求书

1.一种非常深度神经网络的自动加层训练方法，包括：

步骤1)、确定训练集、非常深度神经网络的初始结构，并对所述非常深度神经网络及相关参数进行初始化；其中，

所述非常深度神经网络为深度在8层以上的神经网络；

所述非常深度神经网络的相关参数包括：训练参数、训练误差率、误差率下降阈值、误差率饱和状态以及附加层有效窗口；所述训练参数包括学习率、动量项、训练样本数量；

步骤2)、训练非常深度神经网络并修改其误差率饱和状态；

步骤3)、判断非常深度神经网络的误差率饱和状态，若误差率饱和状态的值为0，则重新执行步骤2)，若误差率饱和状态的值小于附加层有效窗口的大小，则执行步骤4)，若误差率饱和状态的值等于附加层有效窗口的大小，则执行步骤5)；

步骤4)、若非常深度神经网络的当前深度满足用户设定的最大深度，则执行步骤5)，否则对当前非常深度神经网络执行加层操作，然后重新执行步骤2)；

步骤5)、输出当前的非常深度神经网络，训练结束。

2.根据权利要求1所述的非常深度神经网络的自动加层训练方法，其特征在于，在步骤1)中，初始化非常深度神经网络的相关参数包括：

将训练误差率的初始值设为1；

将误差率饱和状态初始化为不饱和状态；

将误差率下降阈值根据非常深度神经网络的深度以及非常深度神经网络的训练时间要求进行设置，包括：对于同一个非常深度神经网络，误差率下降阈值与训练时间成反比关系，误差率下降阈值与训练后的神经网络深度成正比关系。

3.根据权利要求1所述的非常深度神经网络的自动加层训练方法，其特征在于，所述附加层有效窗口的大小是一个大于1的正整数，所述误差率饱和状态的值的取值范围为从0到附加层有效窗口大小之间的整数。

4.根据权利要求3所述的非常深度神经网络的自动加层训练方法，其特征在于，所述附加层有效窗口的大小是2，所述误差率饱和状态的值包括0、1、2；其中，当误差率饱和状态的值为0时，代表非常深度神经网络没有饱和；当误差率饱和状态的值为1时，代表非常深度神经网络首次饱和；当误差率饱和状态的值为2时，代表非常深度神经网络连续两次饱和。

5.根据权利要求1所述的非常深度神经网络的自动加层训练方法，其特征在于，所述非常深度神经网络为任意结构的神经网络，包括以下结构的神经网络的任意一种：卷积神经网络、前馈神经网络、循环神经网络、深度置信网络。

6.根据权利要求1所述的非常深度神经网络的自动加层训练方法，其特征在于，所述步骤2)进一步包括：

步骤2.1)、训练非常深度神经网络，计算当前非常深度神经网络的训练误差率e#；

步骤2.2)、判断上一次非常深度神经网络的训练误差率e*与当前非常深度神经网络的误差率e#的差值是否大于误差率下降阈值ε，若大于误差率下降阈值ε，则当前非常深度神经网络未饱和，执行步骤2.3)，若不大于误差率下降阈值ε，则当前非常深度神经网络饱和，执行步骤2.4)；

步骤2.3)、将当前非常深度神经网络的误差率e#设置为上一次非常深度神经网络的训练误差率e*，并将误差率饱和状态值重置为0，然后执行步骤3)；

步骤2.4)、将当前非常深度神经网络的误差率e#设置为上一次非常深度神经网络的训练误差率e*，并将误差率饱和状态值加1，然后执行步骤3)。

7.根据权利要求1所述的非常深度神经网络的自动加层训练方法，其特征在于，在所述步骤4)中，对当前非常深度神经网络执行加层操作包括：在当前非常深度神经网络结构中的任意两层之间叠加一层，其中，所叠加的层初始为恒等映射层。

8.根据权利要求7所述的非常深度神经网络的自动加层训练方法，其特征在于，对当前非常深度神经网络执行加层操作包括：在当前非常深度神经网络结构中的输出层前叠加一层。