[发明专利]一种基于模型分割的联邦学习加速方法

权利要求书

1.一种基于模型分割的联邦学习加速方法，其特征在于，具体包括如下步骤：

S1.输入训练数据后，服务器从N个参与者中随机选择K个参与者(K≤N)进行本地训练，首先进行两轮传统的联邦学习，不执行任何卸载策略；

S2.计算前两轮全局损失函数变化量与每个参与者的训练时间，将前两轮全局损失函数变化量从大到小进行排序，选择排名靠前的参与者进行训练；

S3.综合考虑训练时间与网络带宽因素，每一轮训练之后动态地对参与者进行分组，将低带宽的参与者分到额外的组，具有相似特征的分为一组，同一组执行相同的卸载策略；

S4.综合考虑参与者的训练时间与计算能力，结合步骤S3的分组情况，进行资源是否受限的判断，若资源受限，进入步骤S5最小化全局训练时间；否则，直接进入步骤S7进行多轮迭代上传；

S5.根据全局训练时间最小化的目标，以深度神经网络的每一层为计算单元，层与层之间产生分割点；

S6.从候选的分割点中选择最佳分割点，动态地将计算任务卸载到可信的边缘服务器中，资源受限的参与者与边缘服务器协同训练，然后由边缘服务器上传参数信息到服务器；

S7.进行多轮迭代，从第三轮联邦学习开始，所有参与者本地训练多次迭代之后再上传参数；

S8.从第三轮联邦学习开始，采用多次迭代之后再聚合的策略，多次迭代结束之后，计算模型的每一层梯度均值变化量；

S9.将变化量从大到小进行排序，变化量越大，敏感度越高，选择敏感度高的层上传，对于敏感度不高的层，将不被上传，从而获得最佳全局模型。

2.根据权利要求1所述的基于模型分割的联邦学习加速方法，其特征在于，包括五个模块：参与者选择模块、动态网络感知模块、计算任务卸载决策模块、本地训练策略模块、动态模型聚合模块；

参与者选择模块负责根据全局损失函数变化量选择高质量参与者；

动态网络感知模块负责综合考虑训练时间与网络宽带，对所有参与者进行分组；

计算任务卸载策略模块负责结合分组情况与全局训练时间最小化，选择最佳卸载点；

本地训练策略模块负责进行多轮迭代再上传，迭代次数根据全局损失函数变化量动态设置；

动态模型聚合模块负责进行多轮迭代再聚合，计算并排序层敏感度，选择敏感度高的层上传。

3.根据权利要求1所述的基于模型分割的联邦学习加速方法，其特征在于，所述步骤S3中，相似特征为网络带宽与CPU频率；所述步骤S4中的计算能力为CPU频率。

4.根据权利要求1所述的基于模型分割的联邦学习加速方法，其特征在于，所述步骤S6中，候选的分割点为数据量小且计算量较小的点。

5.根据权利要求1所述的基于模型分割的联邦学习加速方法，其特征在于，所述步骤S7中，多次迭代次数初始值设为10，然后根据上一轮梯度均值变化量动态设置。