[发明专利]全局模型的训练方法、装置及电子设备

说明书

本申请提供一种全局模型的训练方法、装置及电子设备，应用于联邦学习系统，所述联邦学习系统包括服务器和多个分布式设备，在所述服务器中部署全局模型，分别在每个分布式设备中部署局部模型，所述全局模型和每个局部模型均设置有特征提取器、鉴别器和分类器，所述特征提取器和所述鉴别器组成生成对抗网络；所述方法包括利用所述服务器对所述全局模型进行参数初始化；利用所述服务器和所述多个分布式设备对经过所述参数初始化的全局模型进行多轮迭代训练，直至所述全局模型满足收敛条件为止，得到训练完成的全局模型，解决了现有技术中联邦学习的不同分布式设备的数据具有异质性的技术问题，提升了联邦学习的性能目的。

技术领域

本申请涉及全局模型技术领域，尤其涉及一种全局模型的训练方法、装置及电子设备。

背景技术

随着工业物联网的发展，各种各样的设备产生了大量的数据。机器学习通过数据收集和模型训练可以有效地利用数据，从而指导工业实践。在传统集中式的机器学习中，中心节点需要收集数据用于模型训练，这样不仅造成巨大的通信开销，也会暴露数据隐私。于是，联邦学习被提出来实现在不共享数据的情况下的分布式机器学习。在联邦学习过程中，各分布式设备不传输本地数据，仅仅传输训练好的局部模型参数到服务器。服务器通过接收各分布式设备发来的局部模型参数确定全局模型参数，然后将全局模型参数反馈给各分布式设备用于下一轮训练。

然而，各分布式设备中的数据是非独立同分布的，比如不同企业的数据具有异质性。数据的异质性使得局部模型参数在一定程度上偏离全局模型参数，使得反馈到各分布式设备的全局模型参数不具有适用性，不利于各分布式设备的训练。各分布式设备中的数据异质性，使得各分布式设备的泛化能力不佳，不同分布式设备的模型的权重分散性较高，导致联邦学习的性能急剧下降。

发明内容

有鉴于此，本申请的目的在于提出一种全局模型的训练方法、装置及电子设备，以克服现有技术中全部或部分不足。

基于上述目的，本申请提供了一种全局模型的训练方法，应用于联邦学习系统，所述联邦学习系统包括服务器和多个分布式设备，在所述服务器中部署全局模型，分别在每个分布式设备中部署局部模型，所述全局模型和每个局部模型均设置有特征提取器、鉴别器和分类器，所述特征提取器和所述鉴别器组成生成对抗网络；包括：利用所述服务器对所述全局模型进行参数初始化；利用所述服务器和所述多个分布式设备对经过所述参数初始化的全局模型进行多轮迭代训练，直至所述全局模型满足收敛条件为止，得到训练完成的全局模型。

可选地，所述利用所述服务器和所述多个分布式设备对经过所述参数初始化的全局模型进行多轮迭代训练，包括：对于所述多轮迭代训练中的每一轮迭代执行如下操作：利用所述服务器将所述全局模型的当前全局模型参数发送至每个分布式设备；基于所述当前全局模型参数和每个分布式设备的本地数据集，利用每个分布式设备对与其对应的局部模型的特征提取器和分类器进行训练，以得到第一特征提取器参数和分类器参数；基于所述当前全局模型参数、所述本地数据集和所述第一特征提取器参数，利用每个分布式设备对与其对应的局部模型的鉴别器进行训练，以得到鉴别器参数；基于所述本地数据集、所述第一特征提取器参数和所述鉴别器参数，利用每个分布式设备对与其对应的局部模型的特征提取器进行训练，以得到第二特征提取器参数；分别利用每个分布式设备将与其关联的所述分类器参数、所述鉴别器参数和所述第二特征提取器参数发送至所述服务器；基于多个所述分类器参数、多个所述鉴别器参数和多个所述第二特征提取器参数，利用所述服务器对所述当前全局模型参数进行更新。