[发明专利]一种基于隐私保护的方式获取联合训练模型的方法及系统

权利要求书

1.一种基于隐私保护的方式获取联合训练模型的方法，所述方法由参与方实现，包括第一终端与第二终端；所述第一终端与第二终端分别持有水平或者垂直切分的训练数据，所述训练数据包括含样本标签的第一训练数据以及不含样本标签的第二训练数据，包括以下步骤：

第一终端基于含样本标签的所述第一训练数据通过隐私保护的方式与所述第二终端联合训练第一模型；

第一终端将不含标签的第二训练数据通过隐私保护的方式输入训练好的所述第一模型得到第二训练数据的预测标签；所述隐私保护的方式包括同态加密、秘密分享中的至少一种；

第一终端基于含样本标签的第一训练数据以及含预测标签的第二训练数据与所述第二终端迭代训练第二模型；其中，所述第二模型包括第一参数矩阵和第二参数矩阵，所述第一参数矩阵和第二参数矩阵在迭代训练开始时进行拆分，由所述第一终端持有并更新所述第一参数矩阵的第一部分以及所述第二参数矩阵的第一部分，由所述第二终端持有并更新所述第一参数矩阵的第二部分以及所述第二参数矩阵的第二部分；迭代训练完成后，将所述第二参数矩阵的第一部分发送给所述第二终端，并从所述第二终端接收所述第一参数矩阵的第二部分；基于所述第一参数矩阵的第一部分以及所述第一参数矩阵的第二部分之和得到所述第一参数矩阵。

2.根据权利要求1所述的方法，在迭代训练之前，基于秘密分享的方法将预测标签以及样本标签拆分为第一标签和第二标签，所述第一标签和所述第二标签分别存储在所述第一终端与所述第二终端上；所述第一终端基于含样本标签的第一训练数据以及含预测标签的第二训练数据与所述第二终端迭代训练第二模型，每轮迭代包括：

第一终端将所述第一参数矩阵第一部分与第一终端训练数据相乘以确定第一加密累计值第一处理结果；

第一终端采用安全矩阵乘法将所述第一终端训练数据与第二终端持有的第一参数矩阵第二部分相乘以确定第一加密累计值第二处理结果；

第一终端基于所述第一加密累计值第一处理结果与所述第一加密累计值第二处理结果获得第一加密累计值；

第一终端基于所述第一标签与所述第一加密累计值进行计算，得到第一误差；

第一终端基于所述第一误差和所述第一终端训练数据计算第一加密梯度矩阵第一部分；

第一终端采用安全矩阵乘法将第二终端训练数据与所述第一误差进行安全矩阵乘法，得到第二加密梯度第一部分。

3.根据权利要求1所述的方法，所述联合训练模型包括线性回归模型。

4.一种基于隐私保护的方式获取联合训练模型的系统，所述系统由参与方中实现，包括第一终端与第二终端；所述第一终端与第二终端分别持有水平或者垂直切分的训练数据，所述训练数据包括含样本标签的第一训练数据以及不含样本标签的第二训练数据；所述系统包括：

第一模型获取模块：用于基于含样本标签的所述第一训练数据通过隐私保护的方式与所述第二终端联合训练第一模型；

预测标签获取模块：用于将不含标签的第二训练数据通过隐私保护的方式输入训练好的所述第一模型得到第二训练数据的预测标签，所述隐私保护的方式包括同态加密、秘密分享中的至少一种；

第二模型获取模块：用于基于含样本标签的第一训练数据以及含预测标签的第二训练数据与所述第二终端迭代训练第二模型；其中，所述第二模型包括第一参数矩阵和第二参数矩阵，所述第一参数矩阵和第二参数矩阵在迭代训练开始时进行拆分，由所述第一终端持有并更新所述第一参数矩阵的第一部分以及所述第二参数矩阵的第一部分，由所述第二终端持有并更新所述第一参数矩阵的第二部分以及所述第二参数矩阵的第二部分；迭代训练完成后，将所述第二参数矩阵的第一部分发送给所述第二终端，并从所述第二终端接收所述第一参数矩阵的第二部分；基于所述第一参数矩阵的第一部分以及所述第一参数矩阵的第二部分之和得到所述第一参数矩阵。