[发明专利]一种部署分层联邦学习的无线通信系统及资源优化方法

说明书

本发明公开了一种部署分层联邦学习的无线通信系统及资源优化方法，系统以部署了云服务器的基站为分层联邦学习架构中的全局参数服务器，执行全局参数的聚合操作；以基站服务范围内的工作节点为联邦学习工作节点，工作节点进行自适应分组，并选举出每个分组的头节点，作为工作节点和云服务器之间的桥梁和局部聚合器。每个分组内的物联网节点利用本地数据集迭代训练，并通过D2D模式完成本地参数的上传到分组头节点。分组节点以频分多址FDMA方式接入基站，完成联邦学习任务的分配和接收以及训练过程中的参数更新和交换。本发明解决传统分层联邦学习架构的缺陷，有效降低系统开销。

技术领域

本发明涉及计算机资源优化技术领域，具体为一种部署分层联邦学习的无线通信系统及资源优化方法。

背景技术

传统的基于“端-边-云”的分层联邦学习架构，边缘节点在执行模型训练任务迭代之后，会将本地模型参数并行上传到边缘服务器进行局部参数聚合，在完成一定轮数的局部参数聚合之后，边缘服务器会将边缘级的模型参数上传到云服务器，由云服务器完成全局模型参数的聚合。如此反复迭代训练更新，直到模型收敛，任务结束。

“端-边-云”的分层联邦学习架构需要边缘服务器的参与，但是在基础建设不完善的农村地区，并不一定有边缘服务器的部署，该模式无法实现。其次，边缘服务器位置一般相对固定，在进行工作节点和边缘服务器的分组匹配时，不一定能够实现最佳的分组以达到模型训练时间和数据分布的整体最优。此外，边缘服务器数量一般固定，在海量的工作节点参与模型训练的过程中，可能存在单点服务器负载过大。最后，在工作节点移动的场景下，工作节点和服务器的通信链路不稳定，存在断开的风险，这可能导致工作节点在不同的边缘服务器下切换，这种分组不稳定的情况会影响模型训练的整体时延和最终精度。

而在现有的分层架构下，针对通信和学习资源的优化权衡开展的研究并不多。其中，针对训练样本批量大小和参数聚合频率对模型学习性能和通信开销的影响更加复杂，不易量化。

发明内容

本发明的目的在于提供一种部署分层联邦学习的无线通信系统及资源优化方法，以解决现有技术中存在的问题。

为实现上述目的，本发明采用的技术方案是：部署分层联邦学习的无线通信系统，所述系统以部署了云服务器的基站为分层联邦学习架构中的全局参数服务器，执行全局参数的聚合操作；

以基站服务范围内的工作节点为联邦学习工作节点，工作节点进行自适应分组，并选举出每个分组的头节点，作为所述工作节点和云服务器之间的桥梁和局部聚合器；每个分组内的物联网节点利用本地数据集迭代训练，并通过D2D模式完成本地参数的上传到分组头节点；

所述分组节点以频分多址FDMA方式接入基站，每个分组会被分配一定的带宽资源，用于在无线通信链路上和基站之间建立通信连接，以完成联邦学习任务的分配和接收以及训练过程中的参数更新和交换。

优选的，在本技术方案中，每个工作节点基于串行的参数上传策略利用本地计算资源并行完成模型参数的迭代更新；

所述串行的参数上传策略，是在所述工作节点将模型参数上传到分组头节点阶段，分组内的所述工作节点利用组内的所有预分配带宽资源，依次串行地将本地模型参数上传到分组头节点；在分组头节点上完成模型参数的组内聚合，并通过广播，将更新后的聚合参数广播到组内的各个所述工作节点；

在达到全局聚合的时间节点阶段，率先完成指定组内聚合轮数的组，将通过分组头节点将该组的分组模型参数，利用系统可用带宽资源，将分组模型参数上传到全局参数服务器；若此时，另一个分组也完成指定轮数的参数聚合，并且上一组已经完成分组模型参数的上传，则直接利用系统带宽资源上传该组的分组模型参数，否则，需等待上一组完成分组模型参数的上传之后，才开始本组的模型参数上传。

优选的，在本技术方案中，在通信模型中，每个所述工作节点将本地模型参数上传到其所属分组的头节点的通信能耗表示公式为：