[发明专利]一种神经网络训练方法及装置

权利要求书

1.一种神经网络训练方法，用于对神经网络中的参数进行训练，其特征在于，方法包括：

S1，采用非线性函数对所述参数进行非线性变换，得到变换参数；

S2，对所述变换参数转换进行低位宽转换，得到低位宽变换参数；

S3，通过神经网络反向过程，获取所述低位宽变换参数的待更新梯度值，根据所述非线性函数和所述低位宽变换参数的待更新梯度值，得到非线性变换前所述参数的待更新梯度值；

S4，根据所述参数的待更新梯度值，对所述参数进行更新。

2.根据权利要求1所述的神经网络训练方法，其特征在于，所述步骤S3中，所述低位宽变换参数的待更新梯度值△y为：

其中，η为神经网络的学习率，为神经网络反向过程的损失函数，非线性变换函数为y＝f(x)，x为非线性变换前的参数，y为非线性变换后的权值或偏置参数；

所述非线性变换前所述参数的待更新梯度值为：

Δx＝f′(x)Δy；

所述步骤S4中，对所述参数进行更新的表达式为：

xnew＝x-Δx。

3.根据权利要求1所述的神经网络训练方法，其特征在于，所述非线性函数为双曲正切系列函数或者sigmoid系列函数。

4.根据权利要求1所述的神经网络训练方法，其特征在于，所述参数包括神经网络的权值和偏置。

5.根据权利要求1所述的神经网络训练方法，其特征在于，对更新后的参数重复执行步骤S1～S4，直到所述参数小于一预定阈值时，训练完成。

6.一种神经网络训练装置，用于对神经网络中的参数进行训练，其特征在于，装置包括：

非线性变换模块，用于采用非线性函数对所述参数进行非线性变换，得到变换参数；

低位宽转换模块，用于对所述变换参数转换进行低位宽转换，得到低位宽变换参数；

反向梯度变换模块，用于通过神经网络反向过程，获取所述低位宽变换参数的待更新梯度值，根据所述非线性函数和所述低位宽变换参数的待更新梯度值，得到非线性变换前所述参数的待更新梯度值；

更新模块，用于根据所述参数的待更新梯度值，对所述参数进行更新。

7.根据权利要求6所述的神经网络训练装置，其特征在于，所述反向梯度变换模块中，所述低位宽变换参数的待更新梯度值△y为：

其中，η为神经网络的学习率，为神经网络反向过程的损失函数，非线性变换函数为y＝f(x)，x为非线性变换前的参数，y为非线性变换后的权值或偏置参数；

所述非线性变换前所述参数的待更新梯度值为：

Δx＝f′(x)△y；

所述更新模块对所述参数进行更新的表达式为：

xnew＝x-Δx。