[发明专利]基于联邦学习的模型训练方法及系统、存储介质

权利要求书

1.一种基于联邦学习的模型训练方法，其特征在于，所述方法包括：

服务器在客户端集合中采样多个本轮客户端，将本轮初始模型参数发送至所述本轮客户端中，所述本轮客户端按所述本轮初始模型参数配置本地模型后进行模型训练，得到训练后的本轮目标模型参数，并将所述本轮目标模型参数返回至所述服务器中；

所述服务器对多个所述本轮客户端各自返回的所述本轮目标模型参数进行参数聚合，得到本轮聚合参数；

当所述本轮聚合参数未达到所述服务器的采样条件时，将所述本轮聚合参数作为下轮初始模型参数，并在所述客户端集合中重新采样多个下轮客户端，向所述下轮客户端发送所述下轮初始模型参数，以通过所述下轮客户端进行下个轮次的模型训练；

当所述本轮聚合参数达到所述服务器的采样条件时，将所述本轮聚合参数发送至所述客户端集合内的每个客户端中，每个所述客户端按所述本轮聚合参数配置本地模型后进行最后一轮模型训练；

其中，所述本轮客户端对本地模型的训练过程包括：

若所述本轮客户端为非首次被采样，则依据训练样本所属的标签类别与所述本地模型预测出的训练样本属于所述标签类别的概率之间的交叉熵，确定所述本地模型的第一损失函数；

以所述本轮客户端中当前的本地模型作为参照模型，基于所述参照模型对训练样本的中间层输出数据以及本轮训练中的本地模型对训练样本的中间层输出数据之间的KL散度，确定第三损失函数；基于所述参照模型对训练样本属于不同类别的预测概率以及本轮训练中的本地模型对训练样本属于不同类别的预测概率之间的KL散度，确定第四损失函数；将所述第三损失函数和所述第四损失函数的加权求和结果作为第二损失函数；

所述本轮客户端按所述本轮初始模型参数配置所述本地模型后，将所述第一损失函数与所述第二损失函数之和作为所述本地模型的目标损失函数，对所述本地模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述服务器在客户端集合中采样多个本轮客户端之前，所述方法还包括：

初始化元模型参数，将所述元模型的初始化参数作为第一轮初始模型参数，其中，所述客户端集合中每个所述客户端对应的本地模型的模型结构均与所述元模型的模型结构相同。

3.根据权利要求2所述的方法，其特征在于，所述将所述本轮目标模型参数返回至所述服务器中，包括：

所述本轮客户端将所述本轮目标模型参数以及本轮训练样本量返回至所述服务器中；

所述服务器对多个所述本轮客户端各自返回的所述本轮目标模型参数进行参数聚合，得到本轮聚合参数，包括：

所述服务器根据每个所述本轮客户端对应的所述本轮训练样本量占本轮训练样本总数的比例，确定每个所述本轮客户端对应的所述本轮目标模型参数的参数权重，并按所述参数权重对所述本轮目标模型参数进行加权求和，得到所述本轮聚合参数。

4.根据权利要求2或3所述的方法，其特征在于，所述元模型为分类模型，用于预测目标输入量属于不同类别的概率；所述本轮客户端按所述本轮初始模型参数配置本地模型后进行模型训练，得到训练后的本轮目标模型参数，包括：

若所述本轮客户端为首次被采样，则依据训练样本所属的标签类别与所述本地模型预测出的训练样本属于所述标签类别的概率之间的交叉熵，确定所述本地模型的第一损失函数；

所述本轮客户端按所述本轮初始模型参数配置所述本地模型后，将所述第一损失函数作为所述本地模型的目标损失函数，对所述本地模型进行训练。

5.根据权利要求2所述的方法，其特征在于，所述采样条件为采样轮次阈值；所述元模型为图像分类模型。