[发明专利]一种联邦学习模型训练方法、装置及联邦学习系统

说明书

本发明公开了一种联邦学习模型训练方法、装置及联邦学习系统，边缘计算服务器和端设备接收云端联邦学习子系统形成的全局机器学习模型信息；一个边缘计算服务器与一个以上的端设备利用网络局部性的优势形成区域，端设备依靠本地数据并采用截断的方式完成模型本地训练，边缘计算服务器负责所辖区域内端设备的多轮更新并向云端联邦学习子系统发送更新后的模型信息；边缘计算服务器也采用截断的方式完成模型本地训练，云端联邦学习子系统负责多个边缘计算服务器的梯度更新；在训练到达收敛期，分别对边缘计算服务器所辖区域内端设备和云端联邦学习子系统负责的多个边缘计算服务器实施截断节点的补偿，形成全局机器学习模型信息。

技术领域

本发明涉及信息技术领域，尤其涉及一种联邦学习模型训练方法、装置及联邦学习系统。

背景技术

端边云混合架构是一种新型支持协同计算的架构。其中，“端”指终端设备（或简称“端设备”），例如，安装在城市各个角落的摄像机，人们使用的手机；“边”指边缘计算，例如，在城市就近安装部署的边缘计算服务器；“云”指云计算，例如，大型数据中心。采用端边云混合架构部署联邦学习方面的应用，既能保护数据隐私，又能减少数据移动。突出的问题就是当训练的参与方数据样本分布不均匀，或说数据偏斜，也就是非独立同分布(Non-IID)的情况下，其构建的全局模型的准确率会大受影响，原因是非独立同分布数据集在模型训练中会造成梯度偏移。

现有方案缺陷主要有：（1）需要额外数据集，例如，中心服务器往往需要持有一定量的、均匀分布的数据；（2）过拟合问题，例如在强化弱参与者的训练架构中，每一轮梯度收集弱参与者每轮与中心服务器通信后都会比强参与者最多多训练E个轮次，如果这种情况在训练过程中一直存在，那么全局模型将存在对弱参与者持有的数据严重的过拟合，从而影响全局联邦模型的泛化性能；（3）可靠性问题，生成模型GAN会生成缺失类的数据，但在一些关键领域（尤其是重大疾病诊断的医疗领域），在神经网络还没达到充分可以解释性的前提下，生成的数据是否可靠仍然存疑。

通常，通过合理地对本地训练的截断与剪枝，会使得联邦模型的梯度更加偏向于中心化SGD（随机梯度下降）的梯度。也就是说通过截断操作，我们可以使得联邦学习的综合性能提高。然而，在截断某节点本地更新之后，会导致该节点的数据参与的训练轮次减少，全局联邦模型捕捉到该参与者节点的数据特征也变少，为了避免出现对该参与者节点数据的欠拟合的现象，需要在模型训练到达收敛期时对截断节点的进行补偿。

发明内容

本发明实施例的目的是提供一种联邦学习模型训练方法、装置及联邦学习系统，以解决现有方案存在的梯度偏移问题。

为了达到上述目的，本发明实施例所采用技术方案如下：

第一方面，本发明实施例提供一种联邦学习模型训练方法，所述方法应用于包括一个云端联邦学习子系统、个边缘计算服务器和个端设备的联邦机器学习训练，其中，个边缘计算服务器均与云端联邦学习子系统相连，每个边缘计算服务器与一个或多个端设备建立连接，，所述方法包括：

所述云端联邦学习子系统把公钥key分发给所述边缘计算服务器和所述端设备，用以对训练过程中需要交换的数据进行加密；

对所述边缘计算服务器负责所辖区域内端设备的梯度进行更新；

对所述云端联邦学习子系统负责所辖边缘计算服务器的梯度进行更新；

每T1轮次的本地更新会触发一次边缘计算服务器进行梯度收集，每T2轮次的边缘计算服务器更新会触发一次云端联邦学习子系统进行梯度收集，其中T1为端设备分歧阶段内部轮次，T2为边缘计算服务器分歧阶段内部轮次；

当模型达到长尾阶段，边缘计算服务器会根据自身维护的表，让每个被截断的端设备补足本地训练，云端联邦学习子系统会根据自身维护的表，让每个被截断的边缘计算服务器补足本地训练，其中为端设备k1训练截断比例数组，上标k1为端设备索引，总数为，为边缘计算服务器k2训练截断比例数组，上标k2为边缘计算服务器索引，总数为。