[发明专利]参数更新方法、装置和电子设备

权利要求书

1.一种参数更新方法，包括：

获取待训练的模型；

将所述待训练的模型分割为训练节点子模型和服务器子模型；

将所述训练节点子模型发送给参与训练的训练节点；

接收所述训练节点上传的输出层矩阵；其中，所述输出层矩阵是所述训练节点利用自身的训练数据对所述训练节点子模型进行前向传播之后获得的；

根据所述输出层矩阵更新所述服务器子模型的学习率；

根据所述输出层矩阵和所述服务器子模型的学习率，利用后向传播更新所述服务器子模型和所述训练节点子模型的参数。

2.根据权利要求1所述的方法，其中，所述根据所述输出层矩阵和所述服务器子模型的学习率，利用后向传播更新所述服务器子模型和所述训练节点子模型的参数之后，还包括：

在所述待训练的模型收敛之后，获得训练好的模型；

利用所述训练好的模型，对接收到的业务请求进行处理。

3.根据权利要求1所述的方法，其中，所述根据所述输出层矩阵更新所述服务器子模型的学习率包括：

根据所述输出层矩阵对服务器保存的输入层的累积矩阵进行更新，获得更新后的累积矩阵；其中，所述输入层的累积矩阵为所述服务器子模型的输入层的累积矩阵；

确定更新后的累积矩阵与所述输出层矩阵之间的差异性距离；

根据所述差异性距离，确定所述训练节点的分布差异系数；

根据所述分布差异系数，更新所述服务器子模型的学习率。

4.根据权利要求3所述的方法，其中，所述获得更新后的累积矩阵之后，还包括：

保存所述更新后的累积矩阵。

5.根据权利要求3所述的方法，其中，所述根据所述输出层矩阵对服务器保存的输入层的累积矩阵进行更新，获得更新后的累积矩阵包括：

将所述输出层矩阵与所述服务器保存的输入层的累积矩阵相加，获得更新后的累积矩阵。

6.根据权利要求3所述的方法，其中，所述输出层矩阵是所述训练节点利用自身的训练数据对所述训练节点子模型进行前向传播之后获得的，再对获得的输出层矩阵进行归一化之后上传服务器的；

所述确定更新后的累积矩阵与所述输出层矩阵之间的差异性距离包括：

对所述更新后的累积矩阵进行归一化；

确定归一化后的累积矩阵与归一化后的输出层矩阵之间的差异性距离。

7.根据权利要求1所述的方法，其中，所述根据所述输出层矩阵和所述服务器子模型的学习率，利用后向传播更新所述服务器子模型和所述训练节点子模型的参数包括：

利用所述输出层矩阵对所述服务器子模型进行训练，获得所述训练节点对应的标签预测值；

将所述训练节点对应的标签预测值发送给所述训练节点，以使所述训练节点根据所述标签预测值计算获得损失函数值；

接收所述训练节点发送的所述损失函数值；

根据所述损失函数值，获得所述待训练的模型的梯度；

根据所述梯度和所述服务器子模型的学习率，更新所述服务器子模型的参数；以及将所述梯度发送给所述训练节点，以使所述训练节点根据所述梯度和所述训练节点子模型的学习率，更新所述训练节点子模型的参数。

8.根据权利要求1-7任意一项所述的方法，其中，所述将所述待训练的模型分割为训练节点子模型和服务器子模型之后，还包括：

初始化所述训练节点子模型和所述服务器子模型的学习率；以及根据所述训练节点子模型输出层的维度，初始化所述服务器子模型的输入层的累积矩阵。