[发明专利]神经网络的训练方法、装置及设备

权利要求书

1.一种神经网络的训练方法，其特征在于，包括：

将样本数据输入至第一神经网络中，得到第一神经网络输出的预测标签、以及所述第一神经网络的至少一个指定处理层输出的特征图，所述特征图是在所述第一神经网络确定所述预测标签的过程中输出的，所述特征图包含多个特征值；

依据所述预测标签与所述样本数据对应的样本标签并采用预设的损失函数确定损失值，所述损失值用于表征所述预测标签与所述样本标签之间的差异；

依据所述特征图确定用于表征所述特征图的稀疏度的稀疏度值；

依据所述损失值与所述稀疏度值确定用于优化所述第一神经网络的优化参数值；

依据所述优化参数值优化所述第一神经网络得到第二神经网络。

2.如权利要求1所述的神经网络的训练方法，其特征在于，所述依据特征图确定用于表征所述特征图的稀疏度的稀疏度值，包括：

按照设定变换方式将特征图中每一特征值修改为对应的变换值；其中，所述设定变换方式中，特征值的绝对值越大，则对应的变换值越大，特征值为0，则对应的变换值为设定最小值；

依据所述特征图中各变换值确定所述稀疏度值。

3.如权利要求2所述的神经网络的训练方法，其特征在于，按照设定变换方式将特征图中每一特征值修改为对应的变换值包括：

针对特征图中每一特征值，将该特征值的绝对值确定为对应的变换值；或者，

针对特征图中每一特征值，将以该特征值的N次幂确定为对应的变换值，N为正偶数；或者，

针对特征图中每一特征值，将以指定常数为底数、该特征值的绝对值或该特征值的N次方为幂的值确定为对应的变换值；或者，

针对特征图中每一特征值，将以特征值的绝对值的M次幂确定为对应的变换值，所述M为正整数。

4.如权利要求1-3中任一项所述的神经网络的训练方法，其特征在于，

当所述指定处理层的数量为1时，所述特征图的数量也为1，所述依据所述损失值与所述稀疏度值确定用于优化所述第一神经网络的优化参数值，包括：

计算所述稀疏度值与第一设定超参数的乘积得到第一结果，将所述损失值与所述第一结果的和确定为所述优化参数值；

或者，

当所述指定处理层的数量大于1时，所述特征图的数量也大于1，所述依据所述损失值与所述稀疏度值确定用于优化所述第一神经网络的优化参数值，包括：

针对每一特征图，计算该特征图对应的稀疏度值与指定处理层对应的第二设定超参数的乘积得到特征图对应的第二结果，其中，指定处理层输出的特征图的尺寸越小则对应的第二设定超参数越大；

将所述损失值与各特征图对应的第二结果的和确定为所述优化参数值。

5.如权利要求1所述的神经网络的训练方法，其特征在于，依据所述优化参数值优化所述第一神经网络得到第二神经网络，包括：

按照设定的反向传播算法以及所述优化参数值确定出网络参数更新量，依据所述网络参数更新量优化所述第一神经网络中的网络参数；

在当前满足设定的训练结束条件时，将优化后的第一神经网络确定为所述第二神经网络。

6.一种神经网络的训练装置，其特征在于，包括：

样本数据输入模块，用于将样本数据输入至第一神经网络中，得到第一神经网络输出的预测标签、以及所述第一神经网络的至少一个指定处理层输出的特征图，所述特征图是在所述第一神经网络确定所述预测标签的过程中输出的，所述特征图包含多个特征值；

损失值确定模块，用于依据所述预测标签与所述样本数据对应的样本标签并采用预设的损失函数确定损失值，所述损失值用于表征所述预测标签与所述样本标签之间的差异；

稀疏度值确定模块，用于依据所述特征图确定用于表征所述特征图的稀疏度的稀疏度值；

优化参数值确定模块，用于依据所述损失值与所述稀疏度值确定用于优化所述第一神经网络的优化参数值；

神经网络优化模块，用于依据所述优化参数值优化所述第一神经网络得到第二神经网络。