[发明专利]联邦模型的训练方法及装置、存储介质、电子设备

权利要求书

1.一种联邦模型的训练方法，其特征在于，配置于服务器端，所述联邦模型的训练方法包括：

对设置于服务器端的待训练的联邦模型进行初始化，得到第一模型参数，并将所述第一模型参数发送至终端设备；

接收终端设备发送的利用所述第一模型参数对设置于终端设备端的待训练的联邦模型进行迭代训练后得到的第二原始模型参数，并根据所述第二原始模型参数计算第一拟牛顿矩阵；

基于所述第一拟牛顿矩阵对设置于服务器端的待训练的联邦模型中包括的第一模型参数进行优化，得到第三模型参数；

将所述第三模型参数发送至所述终端设备，以使得所述终端设备根据所述第三模型参数对所述终端设备端设置的待训练的联邦模型中包括的第二原始模型参数进行更新，得到训练完成的联邦模型。

2.根据权利要求1所述的联邦模型的训练方法，其特征在于，根据所述第二原始模型参数计算第一拟牛顿矩阵，包括：

对第二原始模型参数进行聚合，得到第二目标模型参数，并根据所述第二原始模型参数以及第二目标模型参数，构建当前全局梯度；

根据所述当前全局梯度以及与所述当前全局梯度对应的上一轮的全局梯度，构建第一中间变量；

根据所述第二原始模型参数以及与所述第二原始模型参数对应的上一轮的原始模型参数，构建第二中间变量，并根据所述第一中间变量以及第二中间变量，计算所述第一拟牛顿矩阵。

3.根据权利要求2所述的联邦模型的训练方法，其特征在于，根据所述第二原始模型参数以及第二目标模型参数，构建当前全局梯度，包括：

计算与各所述终端设备对应的第二原始模型参数以及第二目标模型参数之间的第一差值，得到与各所述终端设备对应的第一损失函数；

根据所述第一损失函数以及设置于该终端设备端的待训练的联邦模型的第一学习率，计算该终端设备的当前局部梯度；

根据各所述终端设备所具有的权重值以及与各所述终端设备对应的当前局部梯度，计算所述当前全局梯度。

4.根据权利要求1所述的联邦模型的训练方法，其特征在于，基于所述第一拟牛顿矩阵对设置于服务器端的待训练的联邦模型中包括的第一模型参数进行优化，得到第三模型参数，包括：

计算服务器端设置的待训练的联邦模型的第二学习率以及终端设备端设置的待训练的联邦模型的第一学习率之间的第一比值；

基于所述第一比值、第二原始模型参数以及第二目标模型参数之间的第一差值以及第一拟牛顿矩阵，计算所述第三模型参数。

5.根据权利要求1-4任一项所述的联邦模型的训练方法，其特征在于，所述待训练的联邦模型包括逻辑回归模型、决策树模型、卷积神经网络模型、循环神经网络模型中的一种或多种。

6.一种联邦模型的训练方法，其特征在于，配置于终端设备端，所述联邦模型的训练方法包括：

接收服务器端发送的第一模型参数；其中，所述第一模型参数是服务器对设置于服务器端的待训练的联邦模型进行初始化得到的；

利用所述第一模型参数对设置于终端设备端的待训练的联邦模型进行迭代训练，得到第二原始模型参数，并将所述第二原始模型参数发送至服务器端，以使得所述服务器端根据所述第二原始模型参数计算第一拟牛顿矩阵；

接收所述服务器端发送的利用所述第一拟牛顿矩阵对设置于服务器端的待训练的联邦模型中包括的第一模型参数进行优化得到的第三模型参数，并利用所述第三模型参数对所述第二原始模型参数进行更新，得到训练完成的联邦模型。

7.根据权利要求6所述的联邦模型的训练方法，其特征在于，利用所述第一模型参数对设置于终端设备端的待训练的联邦模型进行迭代训练，得到第二原始模型参数，包括：

利用所述第一模型参数对设置于终端设备端的待训练的联邦模型中包括的第一当前参数进行更新，并将所述终端设备端中包括的本地数据输入至参数更新后的待训练的联邦模型中，得到第一数据预测结果；

根据所述第一数据预测结果以及所述本地数据的第一标注结果构建第二损失函数；

基于所述第二损失函数对所述参数更新后的待训练的联邦模型进行迭代训练，得到所述第二原始模型参数。