[发明专利]一种基于机器异构性的联邦学习方法

说明书

本发明公开了一种基于机器异构性的联邦学习方法，方法包括：接收服务器统一发送的初始模型、全局梯度和全局模型参数；根据初始模型、全局梯度和全局模型参数，得到预估梯度校准值；其中，预估梯度校准值用于表征各边缘设备的本地梯度与服务器的全局梯度的偏差以及各边缘设备因本地更新次数不同而产生的偏差；基于预估梯度校准值，得到目标本地梯度和目标本地模型参数；将所述目标本地梯度和所述目标本地模型参数发送至所述服务器，以使所述服务器生成更新后的全局梯度和全局模型参数。本发明实施例通过对各边缘设备的预估梯度校准技术来实现移除各边缘设备与服务器的偏差，同时补偿本地更新次数不同导致的偏差，从而提高联邦学习的训练效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及的是一种基于机器异构性的联邦学习方法。

背景技术

当前针对联邦学习的算法主要基于假设其能够在同样时间内在本地训练一定次数。这个方法在同构环境下能够提高训练的效率以及通讯开销，然而在绝大部分的分布式场景都属于异构环境，因此，这种计算方法并不具备实用性。如果以异步的方式解决这一问题的话，会存在一些数据无法充分利用(例如：如果一个边缘设备过久未与服务器更新的话，服务器中的异步算法可能会舍弃边缘设备提交的信息)。当各边缘设备的本地更新次数是相同的情况下，利用传统的随机梯度下降法SGD进行联邦学习的效果很好，而当各边缘设备本地更新次数不同的情况下，利用传统的随机梯度下降法SGD进行联邦学习，则出现需要优化的目标函数和实际优化的目标函数不一致的情况。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于机器异构性的联邦学习方法，旨在解决现有技术中联邦学习中的异构网络在进行模型训练时训练效率低的问题。

本发明解决问题所采用的技术方案如下：

第一方面，本发明实施例提供一种基于机器异构性的联邦学习方法，其中，所述方法包括：

接收服务器统一发送的初始模型、全局梯度和全局模型参数；

根据所述初始模型、所述全局梯度和所述全局模型参数，得到预估梯度校准值；其中，所述预估梯度校准值用于表征各边缘设备的本地梯度与服务器的全局梯度的偏差以及各边缘设备因本地更新次数不同而产生的偏差；

基于所述预估梯度校准值，得到目标本地梯度和目标本地模型参数；

将所述目标本地梯度和所述目标本地模型参数发送至所述服务器，以使所述服务器生成更新后的全局梯度和全局模型参数。

在一种实现方式中，其中，所述接收服务器统一发送的初始模型、全局梯度和全局模型参数之后包括：

将所述全局模型参数作为初始本地模型参数。

在一种实现方式中，其中，所述根据所述初始模型、所述全局梯度和所述全局模型参数，得到预估梯度校准值包括：

基于预设的本地数据和所述初始模型，得到本地梯度；

基于所述全局梯度、所述全局模型参数和所述本地梯度，得到预估梯度校准值。

在一种实现方式中，其中，所述基于所述全局梯度、所述全局模型参数和所述本地梯度，得到预估梯度校准值包括：

基于所述全局梯度和所述本地梯度，得到第一偏差值，其中，所述第一偏差值用于表征各边缘设备的本地梯度与服务器的全局梯度的偏差；

基于所述全局模型参数和所述初始本地模型参数，得到第二偏差值，其中，所述第二偏差值用于表征各边缘设备因本地更新次数不同而产生的偏差；

基于所述第一偏差值和所述第二偏差值，得到预估梯度校准值。