[发明专利]一种神经网络的训练方法及相关设备

说明书

本申请实施例公开了一种神经网络的训练方法及相关设备，该方法包括：在前向传播过程中，采用二值化函数对目标权重进行二值化处理，将二值化处理后的数据作为神经网络中第一神经网络层的权重；在反向传播过程中，将拟合函数的梯度作为二值化函数的梯度，计算损失函数对目标权重的梯度，由于拟合函数是基于二值化函数的级数展开确定的，所以拟合函数与二值化函数的拟合效果较好，从而能够提高训练效果，提高训练得到的神经网络的准确率。

技术领域

本申请实施例涉及深度学习技术领域，尤其涉及一种神经网络的训练方法及相关设备。

背景技术

深度学习(Deep Learning，DL)是机器学习(Machine Learning，ML)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(ArtificialIntelligence，AI)。

随着深度学习技术的发展，深度神经网络(Deep Neural Networks，DNN)已经被广泛应用到各个领域中。例如，作为深度神经网络的一种，卷积神经网络(ConvolutionalNeural Network，CNN)已经被成功地应用于图片分类、物体检测等领域。然而，卷积神经网络的应用需要巨大的计算资源，所以难以直接将卷积神经网络直接应用于手机、摄像头、机器人等计算能力有限的设备上。

为了解决这一问题，许多神经网络的压缩算法和加速算法被提出，将此类算法应用到深度神经网络中可以带来非常高的压缩比和加速比，并且对原网络的精度影响非常小。其中一种方法就是对占用空间较大的权重进行二值化处理，得到二值神经网络(Binary Neural Network，BNN)，以降低卷积神经网络所需的存储空间；并且，对占用空间较大的激活值进行二值化处理，以提高神经网络的运算速度。

通常，会使用Sign函数对卷积神经网络的32位bit浮点数的权重和激活值进行二值化，以将32位浮点数的权重和激活值转换为1或-1，这样，原来需要32bit存储的权重和激活值，现在仅需要1bit对其进行存储，从而节省了存储空间。

然而，Sign函数的梯度是冲激函数，即在0点位置梯度无穷大，其余位置梯度为0，所以在训练二值神经网络的过程中，无法利用Sign函数的梯度进行反向传播。

目前，主要采用直通估计器(Straight Through Estimator，STE)来解决无法利用Sign函数的梯度进行反向传播的问题。具体地，在反向传播过程中不计算Sign函数的梯度，而是直接将Sign函数所在的一层神经网络的上一层神经网络的梯度进行回传。

由于在反向传播过程中忽略了Sign函数的梯度，所以采用直通估计器训练出的二值神经网络的精度较低。

发明内容

本申请实施例提供了一种神经网络的训练方法及相关设备，该训练方法采用拟合函数的梯度代替二值化函数的梯度，从而能够提高训练出的神经网络的精度。

本申请实施例第一方面提供了一种神经网络的训练方法，包括：在前向传播过程中，采用二值化函数对目标权重进行二值化处理，以得到神经网络中第一神经网络层的权重，第一神经网络层为神经网络中的一层神经网络，具体可以为卷积层；二值化函数是指对于自变量的不同的取值范围，因变量有且仅有两个取值的函数，二值化函数的种类有多种，例如可以将目标权重转换为+1或-1，还可以将目标权重转换成+1和0；在反向传播过程中，以拟合函数的梯度为二值化函数的梯度计算损失函数对目标权重的梯度，拟合函数是基于二值化函数的级数展开确定的。

前向传播是指，按照神经网络从输入层到输出层的顺序，依次计算神经网络各层的中间变量，该中间变量可以为神经网络各层的输出值；反向传播是指，按照神经网络从输出层到输入层的顺序，依次计算神经网络各层的中间变量以及损失函数对各参数的导数，该中间变量可以为神经网络各层的输出值。