[发明专利]一种基于模型分割的联邦学习加速方法

说明书

本发明公开了一种基于模型分割的联邦学习加速方法，属于物联网领域和机器视觉领域，首先，为了提高联邦学习的训练效率，选择高质量的参与者是极其关键的，针对高质量的、资源受限的物联网设备，综合考虑网络带宽变化与全局训练时间这两方面，利用模型分割的理念，设计一种计算任务卸载策略，减少全局训练时间，从而提高训练效率；然后，采用联邦学习范式，保护数据安全，利用分布式用户数据提高推理性能；最后，优化联邦学习的全局模型聚合策略，通过多轮迭代再通信与模型压缩相结合的聚合方式，进一步减少传输内容，降低通信压力，达到联邦学习加速的目的。

技术领域

本发明属于物联网领域和机器视觉领域，具体涉及一种基于模型分割的联邦学习加速方法。

背景技术

联邦学习(Federated Learning)是一种新兴的人工智能基础技术，在2016年由谷歌最先提出，原本用于解决安卓手机终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。

近几年来，领域内相关人士对其展开了深入研究，例如：(1)2016年Jakub等人提出了一种基于同步参数更新的联邦学习加速算法，针对同步更新策略，这种方法主要利用模型聚合的容错性特点，适当降低通信频率，从而减少通信开销；常见的方法有增加通信间隔、减少传输内容、非对称的推送和获取、计算和传输流水线操作；但是面对资源受限的IoT设备，很难或者根本无法执行大型训练任务；(2)提出了一种基于异步参数更新的联邦学习加速算法，与同步更新策略相比，尽管异步更新策略的效率可以大大提高，但是，它会使得来自不同参与方的本地模型参数之间存在延迟问题，从而导致训练过程中收敛性变差；(3)2019年Neel Guha等人提出单轮通信联邦学习改进方案，提出了一种基于模型集成的联邦学习加速算法，即整个训练过程只需要1轮通信就可以完成全局模型的构建；但是由于不同参与者的本地模型质量可能会有很大的不同，最佳的生成全局联邦模型的方法可能只需要考虑一部分参与者的本地模型，而非所有参与者的本地模型，因而如何快速选出这一部分特别重要的参与者是亟待解决的。

以上研究中，基于同步更新的联邦学习加速算法对通信与计算资源相对敏感，在实际物联网场景中随着训练任务计算量的增加，传统的联邦学习算法无法适用；基于异步参数更新的联邦学习加速算法存在延迟问题，从而导致训练过程中收敛性变差；基于模型集成的联邦学习加速算法需要考虑如何快速选出这一部分特别重要的参与者。同时，基于模型分割的联邦学习加速方法，现有的技术都没有在这方面进行考虑与设计。

发明内容

为了解决上述问题，本发明提出了一种基于模型分割的联邦学习加速方法，采用模型分割与压缩的理念加速联邦学习。

本发明的技术方案如下：

一种基于模型分割的联邦学习加速方法，具体包括如下步骤：

S1.输入训练数据后，服务器从N个参与者中随机选择K个参与者(K≤N)进行本地训练，首先进行两轮传统的联邦学习，不执行任何卸载策略；

S2.计算前两轮全局损失函数变化量与每个参与者的训练时间，将前两轮全局损失函数变化量从大到小进行排序，选择排名靠前的参与者进行训练；

S3.综合考虑训练时间与网络带宽因素，每一轮训练之后动态地对参与者进行分组，将低带宽的参与者分到额外的组，具有相似特征的分为一组，同一组执行相同的卸载策略；

S4.综合考虑参与者的训练时间与计算能力，结合步骤S3的分组情况，进行资源是否受限的判断，若资源受限，进入步骤S5最小化全局训练时间；否则，直接进入步骤S7进行多轮迭代上传；

S5.根据全局训练时间最小化的目标，以深度神经网络的每一层为计算单元，层与层之间产生分割点；