[发明专利]联邦学习方法、设备、存储介质及程序产品

说明书

本发明提供一种联邦学习方法、设备、存储介质及程序产品，通过将第一联邦学习模型发送至参与设备集群中所有备选设备，各备选设备根据其本地数据集获取第一联邦学习模型的第一损失值；根据各备选设备的第一损失值及元学习模型选择目标设备；控制各目标设备进行联邦学习得到第二联邦学习模型，根据预设验证数据集获取第二联邦学习模型的第二损失值，根据第二损失值更新元学习模型；根据第二损失值是否收敛确定是否执行下一轮联邦学习过程、或者将第二联邦学习模型作为最终的联邦学习模型。通过元学习模型选择最优的目标设备，基于目标设备进行联邦学习，提高训练联邦学习模型的收敛效果与模型的一般性，无需获知各设备本地数据集存在的问题。

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种联邦学习方法、设备、存储介质及程序产品。

背景技术

联邦学习是一种新兴的基于隐私保护的分布式学习范式，通过多个设备的协作模型训练，服务器可以在不接触各设备隐私数据的情况下，获得基于各设备数据集训练的学习模型。

通常情况下，在每轮训练中，服务器首先将待训练模型广播给网络中的各设备，各设备收到待训练模型后用各自的本地数据集对待训练模型进行更新。最后，各设备将训练好的模型上传至服务器，服务器将收到的模型聚合后进行下一个轮次的联邦学习训练。

但是由于存储在各设备的本地数据集可能往往会是有偏的，如类别不均衡或者存在标签噪声，容易导致训练出来的联邦学习模型很容易过拟合，对性能造成严重的干扰。

发明内容

本发明实施例提供一种联邦学习方法、设备、存储介质及程序产品，用以提高训练联邦学习模型的效果。

第一方面，本发明实施例提供一种联邦学习方法，包括：

将第一联邦学习模型发送至参与设备集群中的所有备选设备，以使各备选设备分别根据其本地数据集获取所述第一联邦学习模型的第一损失值；

获取各备选设备的第一损失值，根据各备选设备的第一损失值以及预设的元学习模型从备选设备中选择目标设备；

控制各所述目标设备进行联邦学习得到第二联邦学习模型，并根据预设验证数据集获取所述第二联邦学习模型的第二损失值，并根据所述第二损失值更新所述元学习模型；

若所述第二损失值未收敛，则将所述第二联邦学习模型作为所述第一联邦学习模型重新执行上述过程；若所述第二损失值收敛，则将所述第二联邦学习模型确定为最终的联邦学习模型。

第二方面，本发明实施例提供一种联邦学习设备，包括：

第一损失值获取模块，用于将第一联邦学习模型发送至参与设备集群中的所有备选设备，以使各备选设备分别根据其本地数据集获取所述第一联邦学习模型的第一损失值；获取各备选设备的第一损失值；

目标设备选择模块，用于根据各备选设备的第一损失值以及预设的元学习模型从备选设备中选择目标设备；

学习模块，用于控制各所述目标设备进行联邦学习得到第二联邦学习模型；根据预设验证数据集获取所述第二联邦学习模型的第二损失值，并根据所述第二损失值更新所述元学习模型；

控制模块，用于判断所述第二损失值是否收敛，若所述第二损失值未收敛，则将所述第二联邦学习模型作为所述第一联邦学习模型重新执行上述过程；若所述第二损失值收敛，则将所述第二联邦学习模型确定为最终的联邦学习模型。

第三方面，本发明实施例提供一种电子设备，包括：至少一个处理器；以及存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面所述的方法。