[发明专利]一种部署分层联邦学习的无线通信系统及资源优化方法

权利要求书

1.一种部署分层联邦学习的无线通信系统，其特征在于，所述系统以部署了云服务器的基站为分层联邦学习架构中的全局参数服务器，执行全局参数的聚合操作；

以基站服务范围内的工作节点为联邦学习工作节点，工作节点进行自适应分组，并选举出每个分组的头节点，作为所述工作节点和云服务器之间的桥梁和局部聚合器；每个分组内的物联网节点利用本地数据集迭代训练，并通过D2D模式完成本地参数的上传到分组头节点；

所述分组节点以频分多址FDMA方式接入基站，每个分组会被分配一定的带宽资源，用于在无线通信链路上和基站之间建立通信连接，以完成联邦学习任务的分配和接收以及训练过程中的参数更新和交换。

2.根据权利要求1所述的部署分层联邦学习的无线通信系统，其特征在于，每个工作节点基于串行的参数上传策略利用本地计算资源并行完成模型参数的迭代更新；

所述串行的参数上传策略，是在所述工作节点将模型参数上传到分组头节点阶段，分组内的所述工作节点利用组内的所有预分配带宽资源，依次串行地将本地模型参数上传到分组头节点；在分组头节点上完成模型参数的组内聚合，并通过广播，将更新后的聚合参数广播到组内的各个所述工作节点；

在达到全局聚合的时间节点阶段，率先完成指定组内聚合轮数的组，将通过分组头节点将该组的分组模型参数，利用系统可用带宽资源，将分组模型参数上传到全局参数服务器；若此时，另一个分组也完成指定轮数的参数聚合，并且上一组已经完成分组模型参数的上传，则直接利用系统带宽资源上传该组的分组模型参数，否则，需等待上一组完成分组模型参数的上传之后，才开始本组的模型参数上传。

3.根据权利要求2所述的部署分层联邦学习的无线通信系统，其特征在于，在通信模型中，每个所述工作节点将本地模型参数上传到其所属分组的头节点的通信能耗表示公式为：

其中，p表示节点发射功率；表示工作节点j的参数上传通信时延。

4.根据权利要求2所述的部署分层联邦学习的无线通信系统，其特征在于，每个所述分组的头节点将分组模型参数上传到云服务器的通信能耗表示公式为：

其中，p表示头节点发射功率；表示分组i的头节点的参数上传通信时延；V_i表示分组i的头节点。

5.根据权利要求2所述的部署分层联邦学习的无线通信系统，其特征在于，学习模型中，本地所述工作节点采用小批量随机梯度下降算法，进行模型任务的训练，模型的损失函数计为l，本地工作节点j的损失函数值为F_j(w)定义为：

其中，s表示工作节点的本地数据集中的样本；w表示工作节点的模型参数；表示工作节点的模型参数。

6.根据权利要求5所述的部署分层联邦学习的无线通信系统，其特征在于，学习模型中，在工作节点利用本地训练样本完成指定轮数的本地模型训练后，上传模型参数到分组头节点，由分组头节点完成聚合，分组参数聚合操作表示为：

分组内的所有工作节点利用本地训练样本完成指定轮数的模型参数更新后，分组头节点上传分组模型参数到全局参数服务器，由全局参数服务器完成分组模型参数的聚合操作，全局参数聚合操作表示为：

全局参数服务器完成全局参数聚合之后，将更新后的全局参数广播到各个分组头节点，分组头节点在继续广播到去服务范围内的所有工作节点，各个工作节点利用最新的更新后的全局模型参数和本地训练样本集继续新一轮的模型训练和参数更新，记为：

其中，B_j表示工作节点训练样本批量大小；分组内所有工作节点训练样本批量总和；t表示训练时间；i和j分别表示不同的工作节点；η表示模型训练中的学习率；是工作节点模型训练的损失函数F_j(w)在训练样本集下损失值梯度值；N表示节点个数；表示工作节点一轮本地迭代训练的批量样本集；B表示全局所有工作节点训练样本批量大小；V_i表示表示分组i的头节点。