[发明专利]联邦模型的训练方法及装置、存储介质、电子设备

说明书

本公开是关于一种联邦模型的训练方法及装置、存储介质、电子设备，涉及机器学习技术领域，该方法包括：对设置于服务器端的待训练的联邦模型进行初始化，得到第一模型参数，并将第一模型参数发送至终端设备；接收终端设备发送的第二原始模型参数，并根据第二原始模型参数计算第一拟牛顿矩阵；基于第一拟牛顿矩阵对设置于服务器端的待训练的联邦模型中包括的第一模型参数进行优化，得到第三模型参数；将第三模型参数发送至终端设备，以使得终端设备根据第三模型参数对终端设备端设置的待训练的联邦模型中包括的第二原始模型参数进行更新，得到训练完成的联邦模型。本公开提高了联邦模型的训练效率。

技术领域

本公开实施例涉及机器学习技术领域，具体而言，涉及一种联邦模型的训练方法、联邦模型的训练装置、计算机可读存储介质以及电子设备。

背景技术

联邦学习能够在保护用户隐私的前提下，完成基于分散存储数据的机器学习模型的训练。

在现有的联邦模型的训练任务中，客户端需要将本地模型发送给服务端；然后服务端再根据接收到的所有客户端的模型，进行模型聚合，最后将聚合后的模型发送给客户端；进而通过重复上述过程直到模型收敛或达到最大迭代论数。

但是，由于联邦模型本身的数据量较大，使得服务端和客户端存在较高的通讯负载，导致联邦模型的训练效率较低。

因此，需要提供一种新的联邦模型的训练方法及装置。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种联邦模型的训练方法、联邦模型的训练装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的模型的训练效率较低的问题。

根据本公开的一个方面，提供一种联邦模型的训练方法，配置于服务器端，所述联邦模型的训练方法包括：

对设置于服务器端的待训练的联邦模型进行初始化，得到第一模型参数，并将所述第一模型参数发送至终端设备；

接收终端设备发送的利用所述第一模型参数对设置于终端设备端的待训练的联邦模型进行迭代训练后得到的第二原始模型参数，并根据所述第二原始模型参数计算第一拟牛顿矩阵；

基于所述第一拟牛顿矩阵对设置于服务器端的待训练的联邦模型中包括的第一模型参数进行优化，得到第三模型参数；

将所述第三模型参数发送至所述终端设备，以使得所述终端设备根据所述第三模型参数对所述终端设备端设置的待训练的联邦模型中包括的第二原始模型参数进行更新，得到训练完成的联邦模型。

在本公开的一种示例性实施例中，根据所述第二原始模型参数计算第一拟牛顿矩阵，包括：

对第二原始模型参数进行聚合，得到第二目标模型参数，并根据所述第二原始模型参数以及第二目标模型参数，构建当前全局梯度；

根据所述当前全局梯度以及与所述当前全局梯度对应的上一轮的全局梯度，构建第一中间变量；

根据所述第二原始模型参数以及与所述第二原始模型参数对应的上一轮的原始模型参数，构建第二中间变量，并根据所述第一中间变量以及第二中间变量，计算所述第一拟牛顿矩阵。

在本公开的一种示例性实施例中，根据所述第二原始模型参数以及第二目标模型参数，构建当前全局梯度，包括：

计算与各所述终端设备对应的第二原始模型参数以及第二目标模型参数之间的第一差值，得到与各所述终端设备对应的第一损失函数；

根据所述第一损失函数以及设置于该终端设备端的待训练的联邦模型的第一学习率，计算该终端设备的当前局部梯度；