[发明专利]一种神经网络训练及推理方法、装置、终端及存储介质

权利要求书

1.一种神经网络训练及推理方法，其特征在于，包括：

根据激活函数对正向传播的网络节点信息进行映射处理，并根据映射后的数值进行伯努利过程采样，得到本层网络产生的随机二值化数值，将得到的随机二值化数值作为下一层网络的输入；

对所述激活函数的导数进行伯努利过程采样，得到随机二值化后的激活函数的导数；

对所述下一层网络的反向传播的误差进行符号化处理，并根据符号化处理后的值和所述随机二值化后的激活函数的导数计算所述本层网络的误差信息；

根据所述本层网络的误差信息和上一层网络产生的随机二值化输出对本层网络进行训练；

根据逐层传播的随机二值化数值进行神经网络的推理。

2.根据权利要求1所述的神经网络训练及推理方法，其特征在于，所述根据激活函数对正向传播的网络节点信息进行映射处理，之前包括：

获取上一层网络中连接到所述本层网络的各节点的输出信息，得到所有连接所述本层网络的节点的输入；其中，所述本层网络的节点的输入为所述上一层网络的经过随机二值化处理后的输出；

将所有连接所述本层网络的节点的输入与对应的权重进行相乘，并将得到的所有乘积进行求和，得到所述本层网络的节点的输入信息。

3.根据权利要求1所述的神经网络训练及推理方法，其特征在于，所述根据激活函数对正向传播的网络节点信息进行映射处理，并根据映射后的数值进行伯努利过程采样，得到本层网络产生的随机二值化数值，将得到的随机二值化数值作为下一层网络的输入，包括：

根据所述激活函数对所述本层网络的输入信息进行映射处理，将所述本层网络的输入信息映射成0至1之间的数值；

以映射得到的数值为概率进行伯努利过程采样，获得对应的随机二值化网络节点的输出结果；其中，所述输出结果为所述本层网络产生的随机二值化数值；

将获得的随机二值化网络节点的输出结果作为所述下一层网络的输入。

4.根据权利要求1所述的神经网络训练及推理方法，其特征在于，所述激活函数为挤压函数，包括：Logistic函数、误差函数、剪切式整流线性单元函数以及对称剪切式整流线性单元函数中的一种或组合。

5.根据权利要求1所述的神经网络训练及推理方法，其特征在于，所述对所述激活函数的导数进行伯努利过程采样，得到随机二值化后的激活函数的导数，包括：

获取所述激活函数的导数；

以获得的导数为概率进行伯努利过程采样，获得对应的随机二值化网络节点的输出结果；

将获得的随机二值化网络节点的输出结果作为反向传播过程的误差信息计算值。

6.根据权利要求5所述的神经网络训练及推理方法，其特征在于，所述以获得的导数为概率进行伯努利过程采样，获得对应的随机二值化网络节点的输出结果，之前包括：

对所述激活函数的导数的幅值进行等比例缩放或近似化处理。

7.根据权利要求1所述的神经网络训练及推理方法，其特征在于，所述对所述下一层网络的反向传播的误差进行符号化处理，并根据符号化处理后的值和所述随机二值化后的激活函数的导数计算所述本层网络的误差信息，包括：

对所述下一层网络的反向传播的误差进行符号化处理，获得符号化的误差；

将获得的符号化的误差与所述随机二值化后的激活函数的导数相乘，得到所述本层网络的误差信息；

其中，所述本层网络的误差信息的取值为-1、0或1。

8.根据权利要求1所述的神经网络训练及推理方法，其特征在于，所述根据所述本层网络的误差信息和上一层网络产生的随机二值化输出对本层网络进行训练，包括：

根据所述本层网络的误差信息和所述上一层网络产生的随机二值化输出，计算得到网络整体输出误差函数相对于所述本层网络中权重变化的梯度；

根据所述权重变化的梯度和梯度下降算法调整权重。