[发明专利]基于异构模型的联邦学习方法、装置及介质

说明书

本说明书实施例公开了基于异构模型的联邦学习方法、装置及设备，方法包括：获取客户端上多个目标模型的特征；根据多个目标模型的特征，对多个目标模型聚类得到目标模型组，并确定目标模型组对应的代表模型；确定根据目标模型的层结构训练得到的代表模型的跨模型梯度预测模型；根据训练数据确定代表模型的梯度，以便根据代表模型的跨模型梯度预测模型，将代表模型的梯度转换为目标梯度，用于在客户端上更新目标模型组中的目标模型。

技术领域

本说明书涉及机器学习的技术领域，尤其涉及基于异构模型的联邦学习方法、装置及介质。

背景技术

联邦学习技术是通过一个可信第三方(比如，云端)，将各个互不信任的机构(比如，客户端)联合起来，从而大大增加了各自的可训练数据，在互不干涉隐私的前提下，提升了各自机构的模型性能。

在异构模型的联邦学习的场景下，所有的梯度计算都集中在云端，每个客户端都有不同的模型，这些模型的总量可能很大，云端在每次训练时需要对这些大量不同的模型分别进行梯度计算。

基于此，针对异构模型需要更高效的学习方法。

发明内容

本说明书一个或多个实施例提供了一种基于异构模型的联邦学习方法、装置及介质，用于解决如下技术问题：针对异构模型需要更高效的学习方法。

本说明书一个或多个实施例采用下述技术方案：

本说明书一个或多个实施例提供的一种基于异构模型的联邦学习方法，包括：

获取客户端上多个目标模型的特征；

根据所述多个目标模型的特征，对所述多个目标模型聚类得到目标模型组，并确定所述目标模型组对应的代表模型；

确定根据所述目标模型的层结构训练得到的所述代表模型的跨模型梯度预测模型；

根据训练数据确定所述代表模型的梯度，以便根据所述代表模型的跨模型梯度预测模型，将所述代表模型的梯度转换为目标梯度，用于在所述客户端上更新所述目标模型组中的目标模型。

本说明书一个或多个实施例提供的另一种基于异构模型的联邦学习方法，包括：

确定在本地属于目标模型组的目标模型，所述目标模型组在云端具有对应的代表模型；

接收所述云端发送的所述代表模型的梯度；

确定根据所述目标模型的层结构训练得到的所述代表模型的跨模型梯度预测模型；

根据所述代表模型的跨模型梯度预测模型，将所述代表模型的梯度转换为目标梯度；

根据所述目标梯度，更新本地的所述目标模型。

本说明书一个或多个实施例提供的一种基于异构模型的联邦学习装置，包括：

特征获取单元，获取客户端上多个目标模型的特征；

模型聚类单元，根据所述多个目标模型的特征，对所述多个目标模型聚类得到目标模型组，并确定所述目标模型组对应的代表模型；

模型确定单元，确定根据所述目标模型的层结构训练得到的所述代表模型的跨模型梯度预测模型；

梯度转换单元，根据训练数据确定所述代表模型的梯度，以便根据所述代表模型的跨模型梯度预测模型，将所述代表模型的梯度转换为目标梯度，用于在所述客户端上更新所述目标模型组中的目标模型。

本说明书一个或多个实施例提供的另一种基于异构模型的联邦学习装置，包括：

第一确定单元，确定在本地属于目标模型组的目标模型，所述目标模型组在云端具有对应的代表模型；

接收单元，接收所述云端发送的所述代表模型的梯度；