[发明专利]一种基于参数选择和预同步的加速联邦学习方法

权利要求书

1.一种基于参数选择和预同步的加速联邦学习方法，其特征在于，该加速联邦学习方法基于参数选择和预同步的联邦学习框架加速联邦学习的训练，该加速联邦学习方法包括以下步骤：

中心服务器向所有基站分发最新的全局模型，每个基站将接收到的所述全局模型分发给相连接的用户；

用户通过本地训练回合集合训练所述全局模型，并计算接收的全局模型的梯度和模型参数；

用户将选择部分模型参数传输到相连接的基站，基站通过有线链路广播基站之间的所述模型参数；

将所述模型参数预同步，直到达到预定数量的预同步轮次时，在从所有基站接收到聚合结果后，中心服务器更新全局模型。

2.根据权利要求1所述的基于参数选择和预同步的加速联邦学习方法，其特征在于，用户通过本地训练回合集合训练并计算接收的全局模型的梯度和模型参数时，本地训练回合集合其中，J_l是第l个联邦学习回合中的本地训练回合数。

3.根据权利要求2所述的基于参数选择和预同步的加速联邦学习方法，其特征在于，基站通过有线链路广播基站之间的所述模型参数后，基站还用于将模型参数分发给相连接的用户，其中，所述模型参数预同步后，将每个联邦学习轮l中的预同步轮数定义为其中，I_l表示第l个联邦学习轮中预同步轮的数量。

4.根据权利要求3所述的基于参数选择和预同步的加速联邦学习方法，其特征在于，训练所述全局模型时在用户和中央服务器之间进行多次联邦学习轮循环，在每个联邦学习轮中，其中L是联邦学习轮的总数；在第l个联邦学习循环中用户m的计算时间为：

式中，β表示每个数据样本所需的CPU周期数，J_l表示本地训练循环数，[cycles/s]表示用户m的计算资源；

其中，每个用户定义了一个三元素元组{c_m,D_m,f_m}，其中c_m表示模型参数的大小，D_m表示每个用户m的数据集的大小，而f_m表示每个用户m的计算资源；一组用户

5.根据权利要求4所述的基于参数选择和预同步的加速联邦学习方法，其特征在于，训练所述全局模型时，在第l个联邦学习轮的第i个预同步轮中用户m的本地模型训练中，本地模型参数的变化范围为：

式中，表示本地模型参数。

6.根据权利要求5所述的基于参数选择和预同步的加速联邦学习方法，其特征在于，所述基于参数选择和预同步的加速联邦学习方法采用自适应显著性阈值σ'表示联邦学习过程中衰减显著性阈值，所述自适应显著性阈值σ'定义为：

其中，I_l是第l个联邦学习循环中的参数预同步循环数。

7.根据权利要求6所述的基于参数选择和预同步的加速联邦学习方法，其特征在于，在模型参数预同步中，每个用户仅将重要参数上传到相应的基站，第i个参数预同步轮中用户m的传输时间计算为：

其中，是第i个参数预同步中用户m的传输参数的大小；R_m是用户m的传输速率；E_m,b表示用户m和BS b之间的信道带宽；Q_m,b表示用户m的传输功率；G_m,b是用户m和BSb之间的通道增益；ε²表示高斯通道噪声的标准偏差。