[发明专利]一种神经网络训练及推理方法、装置、终端及存储介质

说明书

本发明公开了一种神经网络训练及推理方法、装置、终端及存储介质，包括：对正向传播的网络节点信息进行映射处理，并根据映射后的数值进行伯努利过程采样，将得到的随机二值化数值作为下一层网络的输入；对激活函数的导数进行伯努利过程采样，得到随机二值化后的激活函数的导数；对下一层网络的反向传播的误差进行符号化处理，并根据符号化处理后的值和随机二值化后的导数计算本层网络的误差信息；根据本层网络的误差信息和上一层网络产生的随机二值化输出对本层网络进行训练；根据逐层传播的随机二值化数值进行神经网络的推理。本发明采用随机二值化的信号进行正向传播和符号化的误差进行反向传播的神经网络，降低计算资源且提高了识别精度。

技术领域

本发明涉及人工智能技术领域，尤其涉及的是一种神经网络训练及推理方法、装置、终端及存储介质。

背景技术

人工神经网络(Artificial Neural Network，以下简称神经网络)的技术进步是近年来科技发展的重要推动力。神经网络广泛应用于对图像、声音、文字等信息的处理过程中。

神经网络中通常包含多层相互连接的非线性网络节点，节点之间的连接强度称为权重。神经网络的所需处理的信息从输入节点输入，在神经网络中逐层传播，最终到达输出层，这一过程称为信息的正向传播。信息的正向传播是神经网络对输入信息的处理过程，又称推理过程。神经网络可以通过特定的算法和流程调整网络中连接各个节点之间的权重，从而使推理结果尽可能地准确，这一过程称为训练或学习过程。

误差反向传播(Error Backpropagation)和梯度下降算法(Gradient Descent)是实现神经网络训练的重要技术发明。基于误差反向传播和梯度下降算法的神经网络训练，包含以下4个步骤：

1)将训练集中的样本数据输入到神经网络中进行信息的正向传播，获得每个节点的状态信息，并获得最终输出结果；

2)输出结果与样本数据的标记信息进行对比，获得输出误差(Error)；

3)将输入误差从网络终端作为输入，由神经网络最后一层向第一层反向传播；

4)利用正向传播的信息和反向传播的误差，计算获得神经网络最终输出结果相对于网络中连接权重的梯度信息，并依据梯度下降算法调整网络中的连接权重。神经网络的推理过程仅包含上述第一个步骤，即信息的正向传播。

在传统神经网络训练和推理中，正向传播的信息和反向传播的误差需要采用高精度的数值来描述。但是，高精度数值在计算机中的存储和处理开销较大，造成了神经网络训练对算力和能耗的较高需求。算力和能耗问题成为神经网络进一步广泛应用的瓶颈。此外，当利用忆阻器阵列实现神经网络加速时，高精度数值所描述的信息和误差需要复杂的外围电路来完成，增加了硬件加速神经网络运算的成本和功耗。

为解决或缓解神经网络训练和推理过程中的算力瓶颈和能耗瓶颈问题，人们发明了多种技术方法。主要包括神经网络量化(Neural Network Quantization)技术和神经网络二值化(Neural Network Binarization)技术；其中，神经网络量化在一定程度上降低了神经网络推理过程中对算力的需求，但是降低了神经网络的识别精度，而二值化网络的训练过程中，反向传播的误差仍采用高精度的数值来描述，在加速训练的过程中仍然存在神经网络识别精度下降的问题。

因此，现有技术还有待改进。

发明内容

本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种神经网络训练及推理方法、装置、终端及存储介质，以解决现有的神经网络训练和推理方法在算力瓶颈场景中存在的识别精度下降的技术问题。

本发明解决技术问题所采用的技术方案如下：

第一方面，本发明提供一种神经网络训练及推理方法，包括：