[发明专利]一种联邦学习模型训练方法、装置及联邦学习系统

权利要求书

1.一种联邦学习模型训练方法，所述方法应用于包括一个云端联邦学习子系统、个边缘计算服务器和个端设备的联邦机器学习训练，其中，个边缘计算服务器均与云端联邦学习子系统相连，每个边缘计算服务器与一个或多个端设备建立连接，，所述方法包括：

所述云端联邦学习子系统把公钥key分发给所述边缘计算服务器和所述端设备，用以对训练过程中需要交换的数据进行加密；

对所述边缘计算服务器负责所辖区域内端设备的梯度进行更新；

对所述云端联邦学习子系统负责所辖边缘计算服务器的梯度进行更新；

每T1轮次的本地更新会触发一次边缘计算服务器进行梯度收集，每T2轮次的边缘计算服务器更新会触发一次云端联邦学习子系统进行梯度收集，其中T1为端设备分歧阶段内部轮次，T2为边缘计算服务器分歧阶段内部轮次；

当模型达到长尾阶段，边缘计算服务器会根据自身维护的表，让每个被截断的端设备补足本地训练，云端联邦学习子系统会根据自身维护的表，让每个被截断的边缘计算服务器补足本地训练，其中为端设备k1训练截断比例数组，上标k1为端设备索引，总数为，为边缘计算服务器k2训练截断比例数组，上标k2为边缘计算服务器索引，总数为。

2.根据权利要求1所述的一种联邦学习模型训练方法，其特征在于，对边缘计算服务器负责所辖区域内端设备的梯度进行更新，包括：

每训练个本地轮次，端设备将会记录一次自身私有模型此时的与，待本地训练完成次之后，会首先将维护的个值发送给边缘计算服务器，其中为端设备k1第u1个分歧阶段的模型增量，为端设备k1第u1个分歧阶段的模型损失，u1为端设备本地分歧阶段索引，总数为U1；

边缘计算服务器针对每个端设备形成维损失数组，按照筛选出每轮需要截断的端设备，并将其少训练的维护在边缘计算服务器，将端设备k1该轮通信所应该截断的轮次发送给端设备；

端设备在收到后，会将第轮本地训练后的梯度上传给边缘计算服务器并进行联邦模型的参数更新。

3.根据权利要求1所述的一种联邦学习模型训练方法，其特征在于，对云端联邦学习子系统负责所辖边缘计算服务器的梯度进行更新，包括：

每训练个本地轮次，边缘计算服务器将会记录一次自身私有模型此时的与，待本地训练完成次之后，会首先将维护的个值发送给云端联邦学习子系统，其中为边缘计算服务器k2第u2个分歧阶段的模型增量，为边缘计算服务器k2第u2个分歧阶段的模型损失，u2为边缘计算服务器本地分歧阶段索引，总数为U2；

云端联邦学习子系统针对每个边缘计算服务器形成维损失数组，按照筛选出每轮需要截断的边缘计算服务器，并将其少训练的维护在云端联邦学习子系统，将边缘计算服务器k2该轮通信所应该截断的轮次发送给边缘计算服务器；

边缘计算服务器在收到后，会将第轮本地训练后的梯度上传给云端联邦学习子系统并进行联邦模型的参数更新。

4.一种联邦学习模型训练装置，所述装置应用于包括一个云端联邦学习子系统、个边缘计算服务器和个端设备的联邦机器学习训练，其中，个边缘计算服务器均与云端联邦学习子系统相连，每个边缘计算服务器与一个或多个端设备建立连接，，所述装置包括：

分发单元，用于所述云端联邦学习子系统把公钥key分发给所述边缘计算服务器和所述端设备，用以对训练过程中需要交换的数据进行加密；

第一更新单元，用于对所述边缘计算服务器负责所辖区域内端设备的梯度进行更新；

第二更新单元，用于对所述云端联邦学习子系统负责所辖边缘计算服务器的梯度进行更新；

收集单元，用于每T1轮次的本地更新会触发一次边缘计算服务器进行梯度收集，每T2轮次的边缘计算服务器更新会触发一次云端联邦学习子系统进行梯度收集，其中T1为端设备分歧阶段内部轮次，T2为边缘计算服务器分歧阶段内部轮次；

训练单元，用于当模型达到长尾阶段，边缘计算服务器会根据自身维护的表，让每个被截断的端设备补足本地训练，云端联邦学习子系统会根据自身维护的表，让每个被截断的边缘计算服务器补足本地训练，其中为端设备k1训练截断比例数组，上标k1为端设备索引，总数为，为边缘计算服务器k2训练截断比例数组，上标k2为边缘计算服务器索引，总数为。