[发明专利]一种基于神经网络架构搜索的联邦学习方法及系统

说明书

本发明涉及一种基于神经网络架构搜索的联邦学习方法及系统，该方法包括：中央服务器将搜索空间中神经网络的架构w和权重α发送给参与方设备，发送一个随机的私有密钥给第一个参与方设备；参与方设备基于w和α以及本地数据集进行训练，得到损失值以及w和α的梯度，并更新网络的架构和权重；每个参与方设备将各自w和α进行加密，并通过链式方法传递给下一个参与方；最后一个参与方设备将所有参与方设备的加密w和α发送给中央服务器后，中央服务器进行解密得出聚合的w和α结果，更新全局神经网络w和α，并发送给各个参与方设备继续更新。本发明实现了联邦学习模型训练计算的简化，并提升了联邦学习模型训练的鲁棒性以及降低了模型训练的成本。

技术领域

本发明涉及信息技术领域，特别是涉及一种基于神经网络架构搜索的联邦学习方法及系统。

背景技术

如今的集中式网络训练已经能够执行各种数据挖掘任务，但充足的数据集是保证模型可靠性的前提。考虑到隐私保护、通信和存储成本、知识产权保护、监管限制和法律约束等问题，在一些特殊的领域，比如：金融、医疗和政务等，将各方数据收集在一个服务器上进行建模和挖掘十分困难。联邦学习是解决此类问题的一个通用方法，它是近年来提出的一种分布式机器学习范式。可以在各个参与方不透露自己数据信息的前提下，通过同态加密等加密算法，将各个参与方的梯度结果汇总到一个服务器上来更新训练一个全局模型。

在每一轮的训练过程中，各个参与方用自己本地的数据来训练此时的全局模型，并且得到一个梯度信息。通过同态加密等方式对梯度信息进行加密后传输给服务器端。服务器端根据相应的聚合算法(如FedAvg算法)将各个梯度聚合并更新全局参数完成本轮训练。

在现有的联邦学习模型中，人们使用预设的模型作为初始的全局模型进行训练。这种使用预先设定的模型进行联邦训练的方式会降低模型在实际数据分布场景下的鲁棒性降低，因为多数情况下，数据集在参与方中都是非独立同分布的，而且开发人员并不知道数据分布的具体情况。当然，开发人员可以选择不同的模型结构进行尝试，来的得出最合适的模型以增强其鲁棒性，但是这样做会耗费更高的成本，加重计算负担，存在一定的缺陷。

发明内容

为解决上述技术问题，本发明的目的在于，提供一种基于神经网络架构搜索的联邦学习方法及系统，实现联邦学习计算的简化，并提升联邦学习的鲁棒性以及降低模型训练的成本。

为达到上述目的，本发明采用如下技术方案：

本发明提供一种基于神经网络架构搜索的联邦学习方法，通过迭代方法直至满足设定的停止条件，包括如下步骤：

S100、中央服务器将搜索空间中神经网络的权重w和架构α发送给K个参与方设备，并且发送一个随机生成的私有密钥给本轮通信的第一个参与方设备，用以链式传输加密，其中0表示本轮通信中的第0个密钥，t表示第t轮通信；

S200、各个参与方设备基于所获得的w和α以及本地数据集进行训练，得到训练集和验证集的损失值以及w和α的梯度，并根据梯度下降的方法更新网络的架构和权重；

S300、每个参与方设备将各自w和α进行加密，加密所用的密钥包含中央服务器发送的初始密码以及所有之前参与方的w和α结果，并通过链式的方法传递给下一个参与方，作为下一个参与方加密密钥；

S400、最后一个参与方设备将本轮通信中所有参与方设备的加密w和α发送给中央服务器后，中央服务器用自己的密钥进行解密得出聚合的w和α结果，且基于聚合结果更新全局神经网络w和α，并将新的w和α值发送给各个参与方设备继续更新。

进一步的，在步骤S100中，所述搜索空间为连续可微的，且所述搜索空间通过梯度下降的混合运算搜索空间作为初始全局模型。

进一步的，在步骤S200中，本地数据集包括训练集、测试集以及验证集。

进一步的，在步骤S200中，网络权重w以及架构α的计算公式为：