[发明专利]基于神经网络的参数更新方法、相关平台及计算机存储介质

权利要求书

1.一种基于神经网络的参数更新方法，所述神经网络包括m个网络层，其特征在于，所述方法包括：

参数存储模块获取所述神经网络中第i个网络层的梯度信息，所述第i个网络层的梯度信息包括所述第i个网络层的过期梯度，所述第i个网络层的过期梯度包括将训练样本输入所述神经网络中计算获得的所述第i个网络层的输出梯度，i小于等于m，且i和m均为正整数；

所述参数存储模块根据所述第i个网络层的过期梯度，对所述神经网络中第i个网络层的网络参数进行更新。

2.根据权利要求1所述的方法，其特征在于，所述第i个网络层的梯度信息还包括所述第i个网络层的过期度，所述第i个网络层的过期度用于反映所述第i个网络层的过期梯度的过期程度，

所述参数存储模块根据所述第i个网络层的过期梯度，对所述神经网络中第i个网络层的网络参数进行更新包括：

所述参数存储模块根据所述第i个网络层的过期梯度以及所述第i个网络层的过期度，对所述神经网络中第i个网络层的网络参数进行更新。

3.根据权利要求1或2所述的方法，其特征在于，所述参数存储模块获取所述神经网络中第i个网络层的梯度信息之前，还包括：

梯度聚合模块接收n个计算模块各自发送的所述第i个网络层的输出梯度，n为正整数；

所述梯度聚合模块根据接收的n个所述第i个网络层的输出梯度，确定所述第i个网络层的过期梯度，并将所述第i个网络层的过期梯度发送给所述参数存储模块；

所述参数存储模块获取所述神经网络中第i个网络层的梯度信息包括：

所述参数存储模块接收所述梯度聚合模块发送的所述第i个网络层的过期梯度。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述参数存储模块根据所述第i个网络层的过期梯度，对所述神经网络中第i个网络层的网络参数进行更新包括：

所述参数存储模块根据所述第i个网络层的过期梯度，确定所述第i个网络层的第一学习率；

所述参数存储模块根据所述第i个网络层的过期梯度以及所述第i个网络层的第一学习率，对所述神经网络中第i个网络层的网络参数进行更新。

5.根据权利要求2或3所述的方法，其特征在于，所述参数存储模块根据所述第i个网络层的过期梯度以及所述第i个网络层的过期度，对所述神经网络中第i个网络层的网络参数进行更新包括：

所述参数存储模块根据所述第i个网络层的过期度，确定所述第i个网络层的第二学习率；

所述参数存储模块根据所述第i个网络层的第二学习率以及所述第i个网络层的过期梯度，对所述神经网络中第i个网络层的网络参数进行更新。

6.根据权利要求2或3所述的方法，其特征在于，所述参数存储模块根据所述第i网络层的过期梯度以及所述第i网络层的过期度，对所述神经网络中第i个网络层的网络参数进行更新包括：

所述参数存储模块根据所述第i个网络层的过期梯度以及所述第i个网络层的过期度，确定所述第i个网络层的第三学习率；

所述参数存储模块根据所述第i个网络层的第三学习率以及所述第i个网络层的过期梯度，对所述神经网络中第i个网络层的网络参数进行更新。

7.一种训练平台，其特征在于，包括n个计算模块以及参数存储模块；其中，

每个计算模块，用于将训练样本输入神经网络中计算获得所述神经网络中第i个网络层的输出梯度，其中，所述神经网络包括m个网络层，i小于等于m，i、m以及n均为正整数；

所述参数存储模块，用于获取所述神经网络中第i个网络层的梯度信息，所述第i个网络层的梯度信息包括所述第i个网络层的过期梯度，所述第i个网络层的过期梯度包括所述计算模块计算获得的所述第i个网络层的输出梯度；

所述参数存储模块，还用于根据所述第i个网络层的过期梯度，对所述神经网络中第i个网络层的网络参数进行更新。