[发明专利]一种隐私保护的模型训练方法、系统及装置

说明书

本说明书实施例公开了一种隐私保护的模型训练方法和系统，所述方法由参与训练的多个数据方中的某一数据方实现，所述方法包括对数据方持有的模型进行多轮迭代更新，所述模型包括共享部分和专有部分，其中，一轮迭代更新包括：基于自身持有的训练样本对模型进行一次或多次迭代训练，对应于模型的共享部分的第一共享数据和对应于模型的专有部分的本地数据；传输第一共享数据至服务器，以便使服务器基于多个数据方的第一共享数据确定第二共享数据；获取服务器返回的第二共享数据，并基于第二共享数据更新模型的共享部分；基于更新后的模型以进行下一轮迭代更新，或将更新后的模型作为最终模型。

技术领域

本说明书涉及机器学习领域，特别涉及一种隐私保护的模型训练方法、系统及装置。

背景技术

近年来，在数据分析、数据挖掘、经济预测等领域，机器学习模型被越来越广泛的用于分析、发现潜在的数据价值。由于单个数据拥有方持有的数据可能是不完整的，由此基于单个数据拥有方的数据训练得到的机器学习模型难以准确地刻画目标。为了得到更好的模型预测结果，通过对不同数据拥有方持有的不同数据采用联合学习的方式进行模型训练。

目前，如何在联合学习过程中保证隐私数据安全的情况下兼顾模型的个性化成为有待解决的问题。

发明内容

本说明书实施例之一提供一种隐私保护的模型训练方法。所述方法由参与训练的多个数据方中的某一数据方实现，所述方法包括对数据方持有的模型进行多轮迭代更新，所述模型包括共享部分和专有部分，其中，一轮迭代更新包括：基于自身持有的训练样本对模型进行一次或多次迭代训练，得到模型数据；所述模型数据包括对应于模型的共享部分的第一共享数据和对应于模型的专有部分的本地数据；传输所述第一共享数据至服务器，以便使服务器基于多个数据方的第一共享数据确定第二共享数据；获取所述服务器返回的第二共享数据，并基于所述第二共享数据更新所述模型的共享部分；基于更新后的模型以进行下一轮迭代更新，或将更新后的模型作为最终模型。

本说明书实施例之一提供一种隐私保护的模型训练系统，所述系统由参与训练的多个数据方中的某一数据方实现，所述系统用于对数据方持有的模型进行多轮迭代更新，所述模型包括共享部分和专有部分，其中，所述系统包括模型训练模块、数据传输模块、第二更新模块以及确定模块，且在一轮迭代更新中：模型训练模块用于基于自身持有的训练样本对模型进行一次或多次迭代训练，得到模型数据；所述模型数据包括对应于模型的共享部分的第一共享数据和对应于模型的专有部分的本地数据；数据传输模块用于传输所述第一共享数据至服务器，以便使服务器基于多个数据方的第一共享数据确定第二共享数据；第二更新模块用于获取所述服务器返回的第二共享数据，并基于所述第二共享数据更新所述模型的共享部分；确定模块用于基于更新后的模型以进行下一轮迭代更新，或将更新后的模型作为最终模型。

本说明书实施例之一提供一种隐私保护的模型训练装置，其中，所述装置包括处理器，所述处理器用于执行以上所述的隐私保护的模型训练方法。

本说明书实施例之一提供另一种隐私保护的模型训练方法，所述方法由服务器实现，所述方法包括对数据方持有的模型进行多轮迭代更新，所述模型包括共享部分和专有部分，其中，一轮迭代更新包括：获取K个数据方的第一共享数据；其中，所述K个数据方从M个数据方中指定，M、K均为正整数，且K≤M；第一共享数据对应于数据方的模型的共享部分；基于K个数据方的第一共享数据确定第二共享数据；将所述第二共享数据发送给所述M个数据方，以便各数据方基于所述第二共享数据更新各自模型的共享部分。