[发明专利]联合训练业务模型的方法及装置

说明书

本说明书实施例提供一种联合训练业务模型的方法，在多方联合训练业务模型过程中，多个业务方包括至少2个计算方和一个协调方，计算方持有样本数据，一方面，在计算过程中，单个计算方可以先通过差分隐私方式处理样本数据，以保护数据隐私。另一方面，在计算方从协调方接收到模型参数的梯度数据后，还可以对梯度数据进行差分隐私处理，从而使得计算方使用的梯度数据与协调方下发的梯度数据不同，进一步保护计算方的数据隐私。这种处理方式可以有效保障计算方的数据安全。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及基于隐私保护，多个业务方联合训练业务模型的方法和装置。

背景技术

随着计算机技术的发展，机器学习的应用越来越广泛。为了提供更有效的机器学习模型，通常会涉及多个业务方共同训练业务模型的情形。例如，多个业务方联合提供包含更多特征数据的训练样本，或者多个业务方联合提供更多数量的训练样本，等等。多个业务方共同训练业务模型的情形往往可以通过多方安全计算来实现。亦即，各个业务方的隐私数据不透漏给其他方的情况下，确定一个约定的机器学习模型。

同态加密是多方安全计算中常用的一种安全计算方。同态加密方法中，在计算阶段的每一步依然是处理一个a+b或ab，并采用同态加密体制进行隐藏，即每个参与者得到的只是输入和输出的密文。由于经过输入阶段，可以假设通过加密算法E，每个参与者已经得到输入的密文E（a）和E（b），于是计算阶段的每一步就是使所有参与者最后得到E（a+b）或E（ab），然后作为下一步计算的输入计算。

在多方安全计算的多个业务方包括计算方和协调方的情况下，协调方可以为计算方进行一些辅助的复杂运算。此时，协调方下发的信息是明文的，计算方之间交换的数据是秘文的，但是协调方和计算方用同一套公私钥加密解密，解密私钥保存在协调方。很显然，如果攻击者同时控制了1个计算方与协调方，利用协调方的私钥解密计算方之间交换的中间计算结果，就可以推断出其他计算方的数据，如果计算方数量为2，就可以精确推断出另一个计算方的隐私数据。此外，如果攻击者仅控制协调方，利用协调方解密出来的梯度数据来训练推断攻击模型，则可以推断出计算方的隐私数据。

发明内容

本说明书一个或多个实施例描述了一种联合训练业务模型的方法及装置，用以解决背景技术提到的一个或多个问题。

根据第一方面，提供了一种联合训练业务模型的方法，联合训练业务模型的多个业务方包括持有样本数据并作为计算方的第一方和第二方，以及作为协调方的第三方；所述方法由第一方执行，包括：获取按照与第二方约定顺序对应一致的当前训练样本的样本数据，所述样本数据包括特征数据和/或标签数据；对所述样本数据添加扰动，形成差分隐私的扰动样本数据；基于所述扰动样本数据，通过同态加密方式，与第二方共同确定业务模型的模型参数的当前梯度，从而得到通过在所述同态加密方式下约定的公钥加密的当前梯度的第一密文分量；将所述当前梯度的第一密文分量发送至第三方，以供第三方根据所述当前梯度的第一密文分量，以及从第二方获取的所述当前梯度的第二密文分量，利用在所述同态加密方式下约定的私钥解密并得到明文当前梯度；接收第三方反馈的明文当前梯度，并对所述明文当前梯度添加扰动，得到扰动梯度；利用扰动梯度更新本地的模型参数。

在一个实施例中，所述业务模型为逻辑回归模型。

在一个实施例中，所述样本数据通过向量或矩阵形式表示，所述对所述样本数据添加扰动，形成差分隐私的扰动样本数据包括：基于预设的隐私保护预算生成满足高斯分布或拉普拉斯分布的扰动向量或扰动矩阵；将所述扰动向量或扰动矩阵与所述样本数据叠加，得到扰动样本数据。

在一个实施例中，在所述样本数据包括独热表示的字符向量的情况下，所述对所述样本数据添加扰动，形成差分隐私的扰动样本数据包括：利用差分隐私的指数形式对所述样本数据添加扰动。