[发明专利]一种隐私保护的模型训练方法、系统及装置

权利要求书

1.一种隐私保护的模型训练方法，所述方法由参与训练的多个数据方中的某一数据方实现，所述方法包括对数据方持有的模型进行多轮迭代更新，所述模型包括共享部分和专有部分，其中，一轮迭代更新包括：

基于自身持有的训练样本对模型进行一次或多次迭代训练，得到模型数据；所述模型数据包括对应于模型的共享部分的第一共享数据和对应于模型的专有部分的本地数据；

传输所述第一共享数据至服务器，以便使服务器基于多个数据方的第一共享数据确定第二共享数据；

获取所述服务器返回的第二共享数据，并基于所述第二共享数据更新所述模型的共享部分；

基于更新后的模型以进行下一轮迭代更新，或将更新后的模型作为最终模型。

2.根据权利要求1所述的方法，其中，所述模型数据包括经过一次或多次迭代训练获得的模型参数或者梯度数据。

3.根据权利要求2所述的方法，其中，当所述模型数据包括经过一次或多次迭代训练获得的梯度数据时，所述方法还包括基于所述模型数据中的本地数据更新所述模型的专有部分。

4.根据权利要求2所述的方法，其中，所述基于所述第二共享数据更新所述模型的共享部分，包括：

将所述第二共享数据作为所述模型的共享部分的模型参数，或者基于学习率和所述第二共享数据更新所述模型的共享部分的模型参数。

5.根据权利要求1所述的方法，其中，所述第二共享数据为多个数据方的第一共享数据的加权和值或加权均值。

6.根据权利要求1所述的方法，其中，多个数据方各自持有的模型具有相同的模型结构。

7.一种隐私保护的模型训练系统，所述系统由参与训练的多个数据方中的某一数据方实现，所述系统用于对数据方持有的模型进行多轮迭代更新，所述模型包括共享部分和专有部分，其中，所述系统包括模型训练模块、数据传输模块、第二更新模块以及确定模块，且在一轮迭代更新中：

模型训练模块用于基于自身持有的训练样本对模型进行一次或多次迭代训练，得到模型数据；所述模型数据包括对应于模型的共享部分的第一共享数据和对应于模型的专有部分的本地数据；

数据传输模块用于传输所述第一共享数据至服务器，以便使服务器基于多个数据方的第一共享数据确定第二共享数据；

第二更新模块用于获取所述服务器返回的第二共享数据，并基于所述第二共享数据更新所述模型的共享部分；

确定模块用于基于更新后的模型以进行下一轮迭代更新，或将更新后的模型作为最终模型。

8.一种隐私保护的模型训练装置，其中，所述装置包括处理器，所述处理器用于执行权利要求1-6中的任意一项所述的隐私保护的模型训练方法。

9.一种隐私保护的模型训练方法，所述方法由服务器实现，所述方法包括对数据方持有的模型进行多轮迭代更新，所述模型包括共享部分和专有部分，其中，一轮迭代更新包括：

获取K个数据方的第一共享数据；其中，所述K个数据方从M个数据方中指定，M、K均为正整数，且K≤M；第一共享数据对应于数据方的模型的共享部分；

基于K个数据方的第一共享数据确定第二共享数据；

将所述第二共享数据发送给所述M个数据方，以便各数据方基于所述第二共享数据更新各自模型的共享部分。

10.根据权利要求9所述的方法，其中，所述第二共享数据为K个数据方的第一共享数据的加权和值或加权均值。