[发明专利]一种联邦学习方法、装置及电子设备

说明书

本申请公开了一种联邦学习方法、装置及电子设备。方法包括：向各客户端发送元模型及初始模型参数，以使各客户端基于所述元模型、初始模型参数、客户本地的训练数据以及目标补丁模型进行第一轮模型训练；从各客户端中确定出若干目标客户端，并采集各目标客户端当前第n轮训练获得的第一模型参数；基于各第一模型参数，计算获得用于进行n+1轮模型训练的第二模型参数；将第二模型参数发送给各目标客户端，以使各目标客户端基于元模型、第二模型参数、本地的训练数据及目标补丁模型进行模型再训练获得当前第二模型；直至各各客户端训练获得的当前第二模型均符合训练条件，否则重新确定出若干目标客户端。本申请能够避免训练获得模型发生偏移。

技术领域

本发明涉及计算机技术领域，特别涉及一种联邦学习方法、装置及电子设备。

背景技术

联邦学习本质上是一种分布式机器学习框架，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，在不需要交换本地个体或样本数据的前提下，仅通过交互模型中间参数进行模型联合训练，原始数据可以不出本地。

然而，现有的联邦学习方法中，虽然保证了明文数据不出本地，但存在部分客户端的模型发生偏移、导致本地模拟效果较差的问题。

发明内容

有鉴于此，本发明提供了一种联邦学习方法、装置及电子设备，主要目的在于解决目前存在现有的联邦学习方法中容易造成客户端训练获得模型发生偏移、进而导致本地模拟效果较差的问题。

为解决上述问题，本申请提供一种联邦学习方法，包括：

向各客户端发送元模型以及初始模型参数，以使各客户端基于所述元模型、初始模型参数、客户端本地的训练数据以及目标补丁模型进行第一轮模型训练；

从各所述客户端中确定出用于进行模型再训练的、若干目标客户端，并采集各目标客户端当前第n轮训练获得的第一模型的第一模型参数，所述n为正整数；

基于各目标客户端的第一模型参数，采用预定的计算方式计算获得用于进行n+1轮模型训练的第二模型参数；

将所述第二模型参数发送给各所述目标客户端，以使各所述目标客户端基于已接收的元模型、第二模型参数、客户端本地的训练数据以及目标补丁模型进行模型再训练获得当前第二模型；

判断各客户端训练获得的当前第二模型是否均符合训练条件，在各客户端训练获得的当前第二模型不符合训练条件时，重新确定出用于进行模型再训练的、若干目标客户端；在各客户端训练获得第二模型符合训练条件时停止训练。

可选的，在向各客户端发送元模型以及初始模型参数之前，所述方法还包括：

接收各客户端发送的各数据类型以及与各数据类型对应的各训练数据的数据标识；

基于各客户端发送的数据类型以及数据标识的数量，计算获得各数据类型之间数据标识总量的数据占比；

在进行每一轮模型训练之前，基于所述数据占比以及各客户端所包含的目标数据类型，从各目标数据类型对应的若干数据标识中确定若干目标数据标识，并将各所述目标数据标识发送给对应的客户端，以为各客户端重新分配用于进行模型训练的训练数据。

可选的，所述基于所述数据占比以及各客户端所包含的目标数据类型，从各目标数据类型对应的若干数据标识中确定若干目标数据标识，具体包括：

基于所述数据占比以及各客户端所包含的目标数据类型，分别确定与各客户端对应的目标数据占比；

基于各客户端的目标数据占比，从对应客户端所发送的各数据类型的数据标识中确定出若干目标数据标识。

可选的，所述基于各目标客户端的第一模型参数，采用预定的计算方式计算获得用于进行n+1轮模型训练的第二模型参数，具体包括：