[发明专利]一种联邦学习的模型分发与聚合的传输调度方法

说明书

本发明公开了一种联邦学习的模型分发与聚合的传输调度方法，涉及模型训练通信技术领域，该方法通过调度节点实现对各执行节点的在线调度，使已拥有最新全局模型的执行节点，向不具有最新全局模型的执行节点传输最新全局模型，直至所有的执行节点均拥有最新全局模型；通过调度节点实现对各执行节点的在线调度，使各执行节点之间进行模型数据的局部聚合，所有模型数据的聚合方向最终均指向中心服务器，直至所有参与节点的本地模型数据均聚合至中心服务器。本发明充分利用参与节点间的带宽资源加速模型通信，缓解了模型分发或聚合过程中流组的盲目竞争，减小了带宽受限的域间网络的拥塞程度，大大提高了联邦学习模型的训练效率，不会降低模型质量。

技术领域

本发明涉及模型训练通信技术领域，具体而言，涉及一种联邦学习的模型分发与聚合的传输调度方法。

背景技术

联邦(机器)学习是一种新兴的分布式机器学习范式，在该范式下，各个计算实体(移动/边缘设备、跨地域的机构)在中心服务器(例如，服务提供商)的协调下共同训练一个机器学习模型。由于数据始终驻留在计算实体本地，联邦学习降低了传统集中式机器学习的隐私风险和数据转移成本。作为一种新型的人工智能基础技术，联邦学习近几年已经得到学术界和工业界的广泛关注，成为机器学习发展和应用的新趋势。

联邦学习中一次模型训练通常包含多个迭代轮次，每一个迭代轮次包含模型分发、模型计算、模型聚合和模型更新四个步骤(当计算实体数量大时可能包含实体选择步骤)。模型分发指中心服务器将最新模型分发给各个参与节点；模型计算指参与节点依据最新模型和本地数据计算后获得模型更新量或梯度；模型聚合指参与节点将计算后的模型更新量或梯度汇聚到中心服务器；模型更新指中心服务器依据聚合后的模型更新量或梯度更新全局模型。模型训练过程不断重复以上四个步骤，直至全局模型收敛(即该模型在标准测试集的精度达到理想值)。在已有联邦学习架构(例如TensorFlow Federated、FATE)中，上述步骤中的模型分发与模型聚合普遍采用Hub-and-spoke模式，在该模式下，中心服务器作为唯一的模型分发者和聚合者，与参与节点间周期性的产生大量的模型通信。在实际的部署环境中，中心服务器和各个参与节点通常是跨地域分布的，它们之间的网络是跨域公共网络的一部分，具有带宽受限、异构动态等特点。因而，频繁且大量的模型通信产生的通信开销是联邦学习训练效率的主要瓶颈。目前，一般是从通信高效的算法层面研究压缩方法来降低模型通信的数据量，但是这些方法可能会导致模型质量降低。

已有的联邦学习架构中，模型分发与聚合普遍采用简单的Hub-and-spoke模式，该模式下，中心服务器与参与节点的模型通信流存在盲目的流组竞争，加剧了带宽受限的域间网络的拥塞程度，使得通信瓶颈更加严峻。

发明内容

本发明在于提供一种联邦学习的模型分发与聚合的传输调度方法，其能够缓解上述问题。

为了缓解上述的问题，本发明采取的技术方案如下：

一种联邦学习的模型分发与聚合的传输调度方法，包括模型分发调度方法以及模型聚合调度方法，联邦学习中的中心服务器和参与节点均为用于执行流程的执行节点；

所述模型分发调度方法包括：通过调度节点实现对各执行节点的在线调度，使已拥有最新全局模型的执行节点，向不具有最新全局模型的执行节点传输最新全局模型，直至所有的执行节点均拥有最新全局模型，结束模型分发；

所述模型聚合调度方法包括：通过调度节点实现对各执行节点的在线调度，使各执行节点之间进行模型数据的局部聚合，所有模型数据的聚合方向最终均指向中心服务器，直至所有参与节点的本地模型数据均聚合至中心服务器，结束模型聚合。