[发明专利]一种基于参数选择和预同步的加速联邦学习方法

说明书

本发明涉及物联网技术领域，具体涉及一种基于参数选择和预同步的加速联邦学习方法，该加速联邦学习方法基于参数选择和预同步的联邦学习框架加速联邦学习的训练，该方法通过中心服务器向所有基站分发最新的全局模型，每个基站将接收到的全局模型分发给相连接的用户；用户通过本地训练回合集合训练全局模型，并计算接收的全局模型的梯度和模型参数；用户将选择部分模型参数传输到相连接的基站，基站通过有线链路广播基站之间的模型参数；将模型参数预同步，直到达到预定数量的预同步轮次时，在从所有基站接收到聚合结果后，中心服务器更新全局模型。本发明选择的参数传输和参数预同步，以减少系统开销，同时保持联邦学习模型训练性能。

技术领域

本发明涉及物联网技术领域，具体而言，涉及一种基于参数选择和预同步的加速联邦学习方法。

背景技术

随着物联网((Internet of Things，简称IoT))和社交网络应用的快速发展，智能手机、物联网设备和传感器等终端设备产生的数据呈指数级增长。物联网的成功取决于动态感知和智能决策。然而，由于终端设备的计算和通信资源的限制，物联网设备无法同时提供实时和高精度的结果。为了解决上述挑战，目前提出了移动边缘计算(Mobile EdgeComputing,MEC)，移动边缘计算将计算、缓存和联网功能推向网络边缘，以执行任务处理和提供服务，避免不必要的传输延迟。然而，移动边缘计算需要来自物联网设备的原始数据，这引发了严重的隐私问题和通信成本。

为了应对隐私保护和大数据的挑战，联邦学习(Federated Learning，以下简称FL)已成为一种有吸引力的分布式学习范式。联邦学习是一种模型训练技术，数据所有者可以在本地执行模型训练，而无需共享数据，这有助于确保隐私并降低通信成本。联邦学习中的模型训练是通过协作过程完成的。在此过程中，用户发送其当前模型，然后通过随机梯度下降法(stochastic gradient descent，SGD)使用本地收集的数据集进行更新。经过一定数量的局部训练后，用户将其更新的模型权重发送给聚合器，聚合器更新全局模型。联邦学习已在各种统计异质环境中证明了其有效性，例如，不平衡、非独立和相同分布(非IID数据)的数据。然而，在移动边缘网络中高效部署联邦学习还需要考虑系统异构性。这是因为在移动边缘环境中，系统带宽受到限制，并且由所有连接的移动设备共享，具有潜在的相互干扰。此外，由于移动性和信道衰落，所选设备可能具有不同的计算能力和动态无线信道条件。为了解决上述问题，应该设计一个有效的联邦学习框架来动态调整聚合频率和策略，以适应系统的异构性。

发明内容

有鉴于此，本发明的目的在于提供一种基于参数选择和预同步(FL frameworkwith parameter selection and pre-synchronization,PSPFL)的加速联邦学习方法和新型细粒度联邦学习框架，以加速联邦学习训练。具体来说，本发明设计了所选参数传输，以在用户上对联邦学习模型进行细粒度划分。基站(base station，BS)在彼此之间同步用户上载的参数。然后，提出了采用交替最小化方法(Deep Q-network with AlternatingMinimization，DQNAM)的深度Q-网络来选择中央服务器上的最佳聚合频率，以最小化训练损失和联邦学习完成时间。

为实现上述目的，本发明提供了以下技术方案：

根据本发明的第一方面，提供了一种基于参数选择和预同步的加速联邦学习方法，该加速联邦学习方法基于参数选择和预同步的联邦学习框架加速联邦学习的训练，该加速联邦学习方法包括以下步骤：

中心服务器向所有基站分发最新的全局模型，每个基站将接收到的所述全局模型分发给相连接的用户；

用户通过本地训练回合集合训练所述全局模型，并计算接收的全局模型的梯度和模型参数；

用户将选择部分模型参数传输到相连接的基站，基站通过有线链路广播基站之间的所述模型参数；