[发明专利]一种神经网络的训练方法及相关设备

权利要求书

1.一种神经网络的训练方法，其特征在于，包括：

在前向传播过程中，采用二值化函数对目标权重进行二值化处理，以得到神经网络中第一神经网络层的权重，所述第一神经网络层为所述神经网络中的一层神经网络；

在反向传播过程中，以拟合函数的梯度为所述二值化函数的梯度计算损失函数对所述目标权重的梯度，所述拟合函数是基于所述二值化函数的级数展开确定的。

2.根据权利要求1所述的训练方法，其特征在于，所述拟合函数由多个子函数和误差函数构成，所述多个子函数是基于所述二值化函数的级数展开确定的。

3.根据权利要求2所述的训练方法，其特征在于，所述误差函数是采用带残差的两层全连接神经网络拟合的。

4.根据权利要求2所述的训练方法，其特征在于，所述误差函数由至少一层神经网络拟合；

所述在反向传播过程中，以拟合函数的梯度为所述二值化函数的梯度计算损失函数对所述目标权重的梯度包括：

在反向传播过程中，计算所述多个子函数对所述目标权重的梯度；

计算所述至少一层神经网络对所述目标权重的梯度；

基于所述多个子函数对所述目标权重的梯度以及所述至少一层神经网络对所述目标权重的梯度，计算损失函数对所述目标权重的梯度。

5.根据权利要求1所述的训练方法，其特征在于，所述拟合函数由多个子函数构成，所述多个子函数是基于所述二值化函数的级数展开确定的。

6.根据权利要求1至5中任意一项所述的训练方法，其特征在于，所述二值化函数的级数展开为所述二值化函数的傅里叶级数展开、所述二值化函数的小波级数展开或所述二值化函数的离散傅里叶级数展开。

7.根据权利要求1至6中任意一项所述的训练方法，其特征在于，所述目标权重的数据类型为32位的浮点型、64位的浮点型、32位的整型或8位的整型。

8.一种神经网络的训练方法，其特征在于，包括：

在前向传播过程中，采用二值化函数对第二神经网络层的激活值进行二值化处理，以得到第一神经网络层的输入，所述第一神经网络层和所述第二神经网络层属于同一神经网络；

在反向传播过程中，以拟合函数的梯度为所述二值化函数的梯度计算损失函数对所述激活值的梯度，所述拟合函数是基于所述二值化函数的级数展开确定的。

9.根据权利要求8所述的训练方法，其特征在于，所述拟合函数由多个子函数和误差函数构成，所述多个子函数是基于所述二值化函数的级数展开确定的。

10.根据权利要求9所述的训练方法，其特征在于，所述误差函数是采用带残差的两层全连接神经网络拟合的。

11.根据权利要求9所述的训练方法，其特征在于，所述误差函数由至少一层神经网络拟合；

所述在反向传播过程中，以拟合函数的梯度为所述二值化函数的梯度计算损失函数对所述激活值的梯度包括：

在反向传播过程中，计算所述多个子函数对所述激活值的梯度；

计算所述至少一层神经网络对所述激活值的梯度；

基于所述多个子函数对所述激活值的梯度以及所述至少一层神经网络对所述激活值的梯度，计算损失函数对所述激活值的梯度。

12.根据权利要求8所述的训练方法，其特征在于，所述拟合函数由多个子函数构成，所述多个子函数是基于所述二值化函数的级数展开确定的。

13.根据权利要求8至12中任意一项所述的训练方法，其特征在于，所述二值化函数的级数展开为所述二值化函数的傅里叶级数展开、所述二值化函数的小波级数展开或所述二值化函数的离散傅里叶级数展开。