[发明专利]一种联合训练机器学习模型的方法、系统及装置

说明书

本说明书实施例公开了一种联合训练机器学习模型的方法、系统及装置，用于数据隐私保护，所述方法包括：获取公共训练样本；通过本地待训练模型处理公共训练样本，获得第一预测集；将第一预测集发送给服务器；从服务器获取聚合预测集；基于聚合预测集与公共训练样本的标签值计算第一损失函数，并基于第一损失函数更新模型参数，获得一次更新的本地待训练模型；通过一次更新的本地待训练模型处理私有训练样本，获得第二预测集；基于第二预测集与私有训练样本的标签值计算第二损失函数，并基于第二损失函数更新模型参数，获得二次更新的本地待训练模型；将二次更新的本地待训练模型作为下一轮迭代更新中的本地待训练模型，或者基于此确定最终模型。

技术领域

本说明书涉及机器学习模型的训练，特别涉及一种联合训练机器学习模型的方法和系统。

背景技术

在数据分析、经济预测等领域，机器学习模型可被用来分析、预测潜在的数据价值。由于单个数据拥有方持有的数据可能是不完整的，为了得到更好的模型预测结果，可以对不同数据拥有方持有的不同数据采用联邦学习的方法进行模型训练。但是，目前的联邦学习方法要求每个训练成员所要训练的模型都是一样的，不能满足各训练成员对模型的不同需求。

因此，有必要提出一种联合训练机器学习模型的方法，允许各训练成员自由地选择训练模型。

发明内容

本说明书一个方面提供一种联合训练机器学习模型的方法，所述方法由参与方中的任一训练成员实现，其中，所述参与方包括多个训练成员以及服务器，所述方法包括对模型参数进行多轮迭代更新，其中一轮迭代更新包括：从公共数据集获取一个或多个公共训练样本；所述公共数据集在各训练成员之间公开；通过本地待训练模型处理所述一个或多个公共训练样本，获得包含一个或多个预测结果的第一预测集；将所述第一预测集发送给所述服务器；从所述服务器获取聚合预测集，所述聚合预测集由所述服务器基于来自多个训练成员的第一预测集确定；基于所述聚合预测集与所述一个或多个公共训练样本的标签值计算第一损失函数，并基于所述第一损失函数更新所述本地待训练模型的模型参数，获得一次更新的本地待训练模型；通过所述一次更新的本地待训练模型处理来自该训练成员的私有数据集的一个或多个私有训练样本，获得包含一个或多个预测结果的第二预测集；基于所述第二预测集与所述一个或多个私有训练样本的标签值计算第二损失函数，并基于所述第二损失函数更新所述一次更新的本地待训练模型的模型参数，获得二次更新的本地待训练模型；将所述二次更新的本地待训练模型作为下一轮迭代更新中的本地待训练模型，或者基于所述二次更新的本地待训练模型确定最终模型。

本说明书另一个方面提供一种联合训练机器学习模型的系统，所述系统布置在参与方中的任一训练成员处，其中，所述参与方包括多个训练成员以及服务器，所述系统用于对模型参数进行多轮迭代更新；所述系统包括：第一获取模块，用于从公共数据集获取一个或多个公共训练样本，所述公共数据集在各训练成员之间公开；第一处理模块，用于通过本地待训练模型处理所述一个或多个公共训练样本，获得包含一个或多个预测结果的第一预测集；第一发送模块，用于将所述第一预测集发送给所述服务器；第二获取模块，用于从所述服务器获取聚合预测集，所述聚合预测集由所述服务器基于来自多个训练成员的第一预测集确定；一次更新模块，用于基于所述聚合预测集与所述一个或多个公共训练样本的标签值计算第一损失函数，并基于所述第一损失函数更新所述本地待训练模型的模型参数，获得一次更新的本地待训练模型；第二处理模块，用于通过所述一次更新的本地待训练模型处理来自该训练成员的私有数据集的一个或多个私有训练样本，获得包含一个或多个预测结果的第二预测集；二次更新模块，用于基于所述第二预测集与所述一个或多个私有训练样本的标签值计算第二损失函数，并基于所述第二损失函数更新所述一次更新的本地待训练模型的模型参数，获得二次更新的本地待训练模型；确定模块，用于将所述二次更新的本地待训练模型作为下一轮迭代更新中的本地待训练模型，或者基于所述二次更新的本地待训练模型确定最终模型。

本说明书另一个方面提供一种联合训练机器学习模型的装置，所述装置包括处理器以及存储器，所述存储器用于存储指令，所述处理器用于执行所述指令，以实现所述联合训练机器学习模型的方法。