[发明专利]神经网络的训练方法、装置和电子设备

说明书

公开了一种神经网络的训练方法、神经网络的训练装置和电子设备。该神经网络的训练方法包括：通过样本数据对待训练的第一神经网络进行训练；确定所述第一神经网络在本次训练过程中的指标参数；若所述指标参数符合预设条件，确定与所述预设条件相对应的更新方式；以及，基于所述更新方式更新所述第一神经网络中的批处理归一化层的参数。这样，实现了神经网络输出的特征图的稀疏化，从而减小了传输的数据量并进而提高了芯片的计算速度。

技术领域

本申请涉及深度学习领域，且更为具体地，涉及一种神经网络的训练方法、神经网络的训练装置和电子设备。

背景技术

目前，随着人工智能技术的快速发展，期望能够通过终端，例如智能手机来提供越来越多的人工智能服务，例如数字助理和实时翻译等，从而存在对于可用于神经网络计算的高性能芯片的日益增长的需求。

在实际应用中，芯片的计算速度主要有两个关键瓶颈，一是计算速度，二是数据的传输延时。为了提高计算速度，可以通过增加计算单元的数量、提高主频等方法。而为了降低数据传输的延时，可以通过增大带宽或者减少传输的数据量。

因此，为了满足对于高性能芯片的需求，一方面期望提高硬件性能，包括芯片本身的性能和传输带宽，而另一方面也期望通过神经网络的优化来减小传输的数据量。

因此，需要改进的能够减小传输的数据量以提高芯片的计算速度的神经网络的训练方法。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种神经网络的训练方法、神经网络的训练装置和电子设备，其能够实现神经网络输出的特征图的稀疏化，以减小传输的数据量进而提高芯片的计算速度。

根据本申请的一个方面，提供了一种神经网络的训练方法，包括：通过样本数据对待训练的第一神经网络进行训练；确定所述第一神经网络在本次训练过程中的指标参数；若所述指标参数符合预设条件，确定与所述预设条件相对应的更新方式；以及，基于所述更新方式更新所述第一神经网络中的批处理归一化层的参数。

根据本申请的另一方面，提供了一种神经网络的训练装置，包括：网络训练单元，用于通过样本数据对待训练的第一神经网络进行训练；参数确定单元，用于确定所述网络训练单元所训练的所述第一神经网络在本次训练过程中的指标参数；更新确定单元，用于若所述参数确定单元所确定的所述指标参数符合预设条件，确定与所述预设条件相对应的更新方式；以及。参数更新单元，用于基于所述更新确定单元所确定的所述更新方式更新所述第一神经网络中的批处理归一化层的参数。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的神经网络的训练方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的神经网络的训练方法。

本申请提供的神经网络的训练方法、神经网络的训练装置和电子设备能够确定神经网络在训练过程的指标参数是否符合预设条件，并进而以与预设条件对应的更新方式来更新批处理归一化层的参数，从而通过批处理归一化层的参数的更新来调整激活函数的输入条件，以减少神经网络输出的特征图中的零元素的个数，实现神经网络输出的特征图的稀疏化。

通过特征图的稀疏化，可以提高神经网络的数据的压缩比例，减少数据的传输量，进而减小数据传输的延时和传输次数。因此，通过减少数据的传输量，可以使用较小的片上存储，从而降低成本。并且，通过减小数据传输的延时和传输次数，可以显著加快芯片的计算速度。

附图说明