[发明专利]基于神经网络的联邦模型的训练方法、装置及计算机设备

说明书

本发明公开了一种基于神经网络的联邦模型的训练方法、装置及计算机设备，该方法包括：接收对预置的联邦模型进行迭代训练的训练请求以获取联邦模型的每个参与方向联邦模型发送的历史梯度信息；根据预置的LSTM模型对历史梯度信息进行筛选，得到当前时刻需对联邦模型进行迭代更新的多个参与方；接收多个参与方中每个参与方的本地数据训练相应的本地模型后生成的梯度信息以对联邦模型进行更新。本发明基于神经网络技术，通过采用长短期记忆人工神经网络从联邦模型的所有参与方中获取每轮迭代过程中所需要参与迭代训练的参与方，不仅降低了参与方的计算成本与网络通信传输成本，而且加快了联邦模型训练速度，同时提高了联邦模型的训练精度。

技术领域

本发明涉及联邦学习技术领域，尤其涉及一种基于神经网络的联邦模型的训练方法、装置及计算机设备。

背景技术

在联邦学习技术领域，各个参与联邦的参与者共建一个联邦模型，联邦模型由各联邦参与者共同参与和贡献，进而能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。在对联邦模型进行共同训练的过程中，数据本身不会离开各个联邦用户，但各参与方与中央服务器一般不在同一网络环境下，运行状态也各不相同，另外在共同训练过程中所传递的模型信息要经过加密算法的加密，处理后的密文通常远远大于加密前的明文，因此联邦学习系统通信效率的高低影响着联邦模型的训练成本。现有技术中通常通过对模型参数进行量化或压缩来降低需要传送的参数量、或者随机指定一些参与方参与每轮的更新以减少通信成本、或者通过重叠计算与通信来减少运行时间。但是上述方法仍然具有较大的缺陷，其中在量化或压缩的过程中会不可避免地造成一些精度的缺失；而随机选择参与方进行更新则引入了一些随机性，有些参与方可能会较少地参与到联邦训练中，导致模型不一定能够在理想的迭代轮次中达到理想的收敛效果；重叠计算与通信则只能减少所需时间，无法减少通信开销。

发明内容

本发明实施例提供了一种基于神经网络的联邦模型的训练方法、装置及计算机设备，避免了在对联邦模型进行迭代训练时联邦模型的所有参与方均参与联邦模型的训练而导致网络通讯成本提高，以及联邦模型在迭代训练过程中随机选择参与方而导致联邦模型无法在的预定的迭代轮次中达到收敛的问题。。

第一方面，本发明实施例提供了一种基于神经网络的联邦模型的训练方法，其包括：

接收对预置的联邦模型进行迭代训练的训练请求；

根据所述训练请求获取所述联邦模型的每个参与方向所述联邦模型发送的历史梯度信息；

根据预置的LSTM模型对所述历史梯度信息进行筛选，得到当前时刻需对所述联邦模型进行迭代更新的多个参与方；

接收所述多个参与方中每个参与方的本地数据训练相应的本地模型后生成的梯度信息；

根据所述梯度信息对所述联邦模型进行迭代更新。

第二方面，本发明实施例提供了一种基于神经网络的联邦模型的训练装置，其包括：

第一接收单元，用于接收对预置的联邦模型进行迭代训练的训练请求；

第一获取单元，用于根据所述训练请求获取所述联邦模型的每个参与方向所述联邦模型发送的历史梯度信息；

第一筛选单元，用于根据预置的LSTM模型对所述历史梯度信息进行筛选，得到当前时刻需对所述联邦模型进行迭代更新的多个参与方；

第二接收单元，用于接收所述多个参与方中每个参与方的本地数据训练相应的本地模型后生成的梯度信息；

第一更新单元，用于根据所述梯度信息对所述联邦模型进行迭代更新。

第三方面，本发明实施例又提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于神经网络的联邦模型的训练方法。