[发明专利]联合训练业务模型的方法及装置

权利要求书

1.一种联合训练业务模型的方法，其中，联合训练业务模型的多个业务方包括分别持有部分样本数据并作为计算方的第一方和第二方，以及作为协调方的第三方；所述方法由第一方执行，包括：

获取按照与第二方约定顺序对应一致的当前训练样本的样本数据，所述样本数据包括特征数据和/或标签数据；

对所述样本数据添加扰动，形成差分隐私的扰动样本数据；

基于所述扰动样本数据，通过同态加密方式，与第二方共同确定业务模型的模型参数的当前梯度，从而得到通过在所述同态加密方式下约定的公钥加密的当前梯度的第一密文分量，其中，第一方和第二方所使用的模型参数分别基于在第一方和第二方之间公开的模型参数确定，所述同态加密方式下，第三方持有与所述约定的公钥相匹配的私钥；

将所述当前梯度的第一密文分量发送至第三方，以供第三方根据所述当前梯度的第一密文分量，以及从第二方获取的所述当前梯度的第二密文分量，利用在所述同态加密方式下约定的私钥解密并得到明文当前梯度；

接收第三方反馈的明文当前梯度，并对所述明文当前梯度添加扰动，得到扰动梯度；

利用扰动梯度更新本地的模型参数。

2.根据权利要求1所述的方法，其中，所述业务模型为逻辑回归模型。

3.根据权利要求1所述的方法，其中，所述样本数据通过向量或矩阵形式表示，所述对所述样本数据添加扰动，形成差分隐私的扰动样本数据包括：

基于预设的隐私保护预算生成满足高斯分布或拉普拉斯分布的扰动向量或扰动矩阵；

在所述样本数据上叠加相应的扰动向量或扰动矩阵，得到扰动样本数据。

4.根据权利要求1所述的方法，其中，在所述样本数据包括独热表示的字符向量的情况下，所述对所述样本数据添加扰动，形成差分隐私的扰动样本数据包括：

利用差分隐私的指数形式对所述样本数据添加扰动。

5.根据权利要求1所述的方法，其中，所述当前梯度为各个元素分别对应于多个模型参数的梯度向量或梯度矩阵，所述对所述明文当前梯度添加扰动，得到扰动梯度包括：

通过预先设定的隐私保护预算，生成符合高斯分布或拉普拉斯分布的扰动向量或扰动矩阵；

在所述梯度向量或梯度矩阵上叠加将所生成的扰动向量或扰动矩阵，得到扰动梯度。

6.根据权利要求1所述的方法，所述利用扰动梯度更新本地的模型参数包括：

将本地的模型参数更新为，当前模型参数与以下项的差：学习率与扰动梯度的乘积。

7.一种联合训练业务模型的方法，联合训练业务模型的多个业务方包括分别持有部分样本数据并作为计算方的第一方和第二方，以及作为协调方的第三方；所述方法由第三方执行，包括：

从第一方、第二方分别接收业务模型的当前梯度的第一密文分量和当前梯度的第二密文分量，其中，所述当前梯度的第一密文分量和当前梯度的第二密文分量由第一方和第二方基于扰动样本数据，通过同态加密方式确定，并通过在所述同态加密方式下约定的公钥进行加密，其中，第一方和第二方所使用的模型参数分别基于在第一方和第二方之间公开的模型参数确定，所述同态加密方式下，第三方持有与所述约定的公钥相匹配的私钥；

利用所述同态加密方式下约定的私钥解密所述当前梯度的第一密文分量和所述当前梯度的第二密文分量，从而确定明文当前梯度；

将所述明文当前梯度分别发送给第一方和第二方，以供第一方和第二方分别对所述明文当前梯度添加扰动，得到扰动梯度，并利用扰动梯度更新本地的模型参数。

8.根据权利要求7所述的方法，其中，所述方法由第三方通过可信执行环境执行。

9.根据权利要求7所述的方法，其中，所述明文当前梯度为，通过私钥解密的当前梯度的第一密文分量与第二密文分量之和。