[发明专利]基于联邦学习的模型训练方法及系统、存储介质

说明书

本申请公开了一种基于联邦学习的模型训练方法及系统、存储介质、计算机设备，该方法包括：服务器在客户端集合中采样多个本轮客户端，将本轮初始模型参数发送至本轮客户端中，本轮客户端按本轮初始模型参数配置本地模型后进行模型训练，得到训练后的本轮目标模型参数，并将本轮目标模型参数返回至服务器中；服务器对多个本轮客户端各自返回的本轮目标模型参数进行参数聚合，得到本轮聚合参数；当本轮聚合参数未达到服务器的采样条件时，将本轮聚合参数作为下轮初始模型参数；当本轮聚合参数达到服务器的采样条件时，将本轮聚合参数发送至客户端集合内的每个客户端中，每个客户端按本轮聚合参数配置本地模型后进行最后一轮模型训练。

技术领域

本申请涉及模型训练技术领域，尤其是涉及到一种基于联邦学习的模型训练方法及装置、存储介质、计算机设备。

背景技术

由于企业间的特殊关系，企业数据的隐私性要求极高，数据差异大且无法互通。科技公司针对某一企业的数据所开发的相同功能的算法模型往往无法快速应用在另外的企业，这不仅导致了科技公司的开发成本高、开发效率低，而且针对每个企业开发的模型泛化性差。

发明内容

有鉴于此，本申请提供了一种基于联邦学习的模型训练方法及装置、存储介质、计算机设备，训练过程中服务器不会接触任何客户端的训练样本，保障了各方的数据隐私需求，并且通过对多个客户端的模型进行协同、统一训练，提升了模型开发效率以及模型泛化性。

根据本申请的一个方面，提供了一种基于联邦学习的模型训练方法，所述方法包括：

服务器在客户端集合中采样多个本轮客户端，将本轮初始模型参数发送至所述本轮客户端中，所述本轮客户端按所述本轮初始模型参数配置本地模型后进行模型训练，得到训练后的本轮目标模型参数，并将所述本轮目标模型参数返回至所述服务器中；

所述服务器对多个所述本轮客户端各自返回的所述本轮目标模型参数进行参数聚合，得到本轮聚合参数；

当所述本轮聚合参数未达到所述服务器的采样条件时，将所述本轮聚合参数作为下轮初始模型参数，并在所述客户端集合中重新采样多个下轮客户端，向所述下轮客户端发送所述下轮初始模型参数，以通过所述下轮客户端进行下个轮次的模型训练；

当所述本轮聚合参数达到所述服务器的采样条件时，将所述本轮聚合参数发送至所述客户端集合内的每个客户端中，每个所述客户端按所述本轮聚合参数配置本地模型后进行最后一轮模型训练。

可选地，所述服务器在客户端集合中采样多个本轮客户端之前，所述方法还包括：

初始化元模型参数，将所述元模型的初始化参数作为第一轮初始模型参数，其中，所述客户端集合中每个所述客户端对应的本地模型的模型结构均与所述元模型的模型结构相同。

可选地，所述将所述本轮目标模型参数返回至所述服务器中，包括：

所述本轮客户端将所述本轮目标模型参数以及本轮训练样本量返回至所述服务器中；

所述服务器对多个所述本轮客户端各自返回的所述本轮目标模型参数进行参数聚合，得到本轮聚合参数，包括：

所述服务器根据每个所述本轮客户端对应的所述本轮训练样本量占本轮训练样本总数的比例，确定每个所述本轮客户端对应的所述本轮目标模型参数的参数权重，并按所述参数权重对所述本轮目标模型参数进行加权求和，得到所述本轮聚合参数。

可选地，所述元模型为分类模型，用于预测目标输入量属于不同类别的概率；所述本轮客户端按所述本轮初始模型参数配置本地模型后进行模型训练，得到训练后的本轮目标模型参数，包括：

若所述本轮客户端为首次被采样，则依据训练样本所属的标签类别与所述本地模型预测出的训练样本属于所述标签类别的概率之间的交叉熵，确定所述本地模型的第一损失函数；