[发明专利]一种联邦学习优化方法及装置

说明书

本发明提供一种联邦学习优化方法及装置，该方法包括：在当前轮次的联邦学习中，获取服务器端发送的全局模型和延迟全局梯度，延迟全局梯度是由上一轮次联邦学习中，每个客户端基于各自本地数据对上一轮次的全局梯度进行更新得到的；基于当前轮次的全局模型和延迟全局梯度，通过本地数据对本地模型进行更新，得到联邦学习更新量，联邦学习更新量包括本地模型的更新量和延迟全局梯度的更新量；将联邦学习更新量发送到服务器端，以供服务器端根据联邦学习更新量进行信息聚合，得到新的全局模型和全局梯度，并将新的全局模型和全局梯度发送到每个客户端，用于下一轮次的联邦学习。本发明有效地克服模型偏差问题，提升通信效率、降低计算复杂度。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种联邦学习优化方法及装置。

背景技术

联邦学习(Federated Learning)是指在数据分布于多个客户端(例如边缘设备、移动终端和服务器等)且不共享的情况下，跨越多个分散的客户端进行联合，建立预测模型的一种分布式机器学习范式，因此成为打破“数据孤岛”、保障各参与方数据始终不出本地、能有效聚合各参与方信息的具有较大潜能的新方案。图1为本发明提供的联邦学习更新步骤的示意图，可参考图1所示，联邦学习可基于传统数据集中式云计算平台的改进升级得到，从而各参与方无需将数据上传至云端，仅将本地更新的模型上传到服务器，即可完成大数据挖掘等人工智能任务，大幅度降低因云端不可信等因素导致的数据隐私泄露问题。因此，联邦学习应用广泛，典型的应用场景包括各大医院在保障各自数据不出本地的基础上，联合进行医疗大数据挖掘等。在当前日趋严格的数据隐私保护法律法规背景下，联邦学习为实现高性能人工智能技术提供了十分有前景的解决方案。

联邦学习的核心技术为联邦优化算法，目前广泛采用联邦平均(FederatedAveraging，简称FedAvg)算法，完成大规模客户端联合学习数据的任务。该算法的核心思想是在本地进行多次随机梯度下降(Stochastic Gradient Descent，简称SGD)迭代，以实现本地模型的更新后，才将本地模型传输至中心服务器。因此，其相较传统分布式梯度下降算法，提高了收敛速度并在一定程度上降低了通信开销。但FedAvg算法存在模型偏差问题和通信开销大的问题等，导致在实际应用中性能损失严重。目前，业界针对FedAvg算法存在的问题展开研究。FedPaq从量化和压缩信息以减小过载的角度来提高通信效率，但该算法无法解决FedAvg算法存在的问题。而在FedProx算法中，从二次项约束的角度，限制本地模型与全局模型偏差较大等情况，但该算法在客户端采样和非独立同分布数据(non-IID)下，性能损失依然严重。VRL-SGD和MFL算法分别从减小梯度方差和动量加速的角度出发，但这些算法不支持客户端采样这一更实际的场景设置。利用SCAFFOLD、Mime等算法，结合控制变量来缓解模型偏差问题，可大幅度提升算法性能，但控制变量更新缓慢，依然有较大的性能提升空间。由此可知，现有联邦学习中模型偏差将会影响算法收敛速度，导致通信开销增大，通信效率较低。

因此，如何合理设计具有低计算复杂度、稳定快速收敛和具有较强的克服模型偏差能力的联邦优化算法是一个亟待解决的问题。

发明内容

针对现有技术存在的问题，本发明提供一种联邦学习优化方法及装置。

本发明提供一种联邦学习优化方法，包括：

在当前轮次的联邦学习中，获取服务器端发送的全局模型和延迟全局梯度，所述延迟全局梯度是由上一轮次联邦学习中，每个客户端基于各自本地数据对上一轮次的全局梯度进行更新得到的；

基于当前轮次的全局模型和延迟全局梯度，通过本地数据对本地模型进行更新，得到联邦学习更新量，所述联邦学习更新量包括本地模型的更新量和延迟全局梯度的更新量；

将所述联邦学习更新量发送到服务器端，以供服务器端根据所述联邦学习更新量进行信息聚合，得到新的全局模型和全局梯度，并将新的全局模型和全局梯度发送到每个客户端，用于下一轮次的联邦学习。