[发明专利]一种参数更新方法、数据处理方法及相关设备

说明书

本申请实施例提供了一种参数更新方法、数据处理方法及相关设备，可以应用于联邦学习场景。该方法包括：获取模型的第一参数、模型的第二参数、第一数据以及训练数据的标签值；将同态加密后的第二参数发送给第二设备；获取第一向量与第二向量；基于第一向量与第二向量确定模型的预测值；基于第一数据与误差计算第一梯度，并使用第一梯度更新第一参数；将同态加密后的误差发送给第二设备，以使得第二设备使用同态加密后的误差更新同态加密后的第二参数。通过第一设备初始化整个模型，将第二参数同态加密后发给第二设备。且后续第一设备发送给第二设备的误差也是同态加密后的。第二设备在参数更新的过程中使用的是密文，从而降低第二设备猜出第一设备处标签值的风险。

技术领域

本申请实施例涉及通信技术领域，尤其涉及一种参数更新方法、数据处理方法及相关设备。

背景技术

联邦学习是指参与机器学习的各方在不泄露隐私数据的情况下，完成模型的训练过程。这里的不泄露隐私数据，包括原始数据、训练过程中的间接数据，这些间接数据可以推导出原始数据（如梯度信息）。逻辑回归是常用的机器学习算法，目前存在将逻辑回归进行联邦改造的案例。其中，同态加密是用来保护隐私数据不被泄露的技术手段。

以两个节点参与的逻辑回归为例描述模型训练过程。首先，第一节点持有一部分特征A和标签，第二节点持有另一部分特征B，两个节点分别要保护自己的特征、标签以及模型训练中的梯度信息。在模型训练阶段，第二节点将模型与特征B的内积发送给第一节点。第一节点计算模型与特征A的内积，第一节点再使用本侧得到的内积与接收到的内积共同计算梯度信息，进而更新模型。

然而，在模型的迭代过程中，随着拟合的跟进，尤其是第一节点没有特征或者特征较少的情况下，第二节点有一定概率可以猜测出第一节点处标签的真实值，导致信息泄露的问题。

发明内容

本申请实施例提供了一种参数更新方法，可以通过第一设备初始化整个模型，并将第二参数同态加密后发给第二设备。且后续第一设备发送给第二设备的误差也是同态加密后的。第二设备在参数更新的过程中使用的是密文，从而降低第二设备猜出第一设备处标签值的风险。

本申请实施例第一方面提供了一种参数更新方法，可以应用于联邦学习场景。该方法可以由第一设备执行，也可以由第一设备的部件（例如处理器、芯片、或芯片系统等）执行。该方法包括：获取第一信息，第一信息包括：模型的第一参数、模型的第二参数、第一数据以及训练数据的标签值，训练数据包括第一数据与第二设备处的第二数据；将同态加密后的第二参数发送给第二设备；基于第一数据与第一参数生成第一向量；获取第二向量，第二向量与同态加密后的第二参数相关；基于第一向量与第二向量确定模型的预测值；基于第一数据与误差计算第一梯度，并使用第一梯度更新第一参数，误差为第一数据的标签值与预测值的差值；将同态加密后的误差发送给第二设备，以使得第二设备使用同态加密后的误差更新同态加密后的第二参数，第一参数与同态加密后的第二参数用于实现隐私计算任务。

本申请实施例中，一方面，第一设备初始化整个模型，并将第二参数同态加密后发给第二设备。且后续第一设备发送给第二设备的误差也是同态加密后的。即，第二设备在参数更新的过程中使用的是密文，从而降低第二设备猜出第一设备处标签值的风险。另一方面，相较于现有技术中使用随机数掩饰梯度的步骤，本申请实施例中第二设备持有的第二参数始终是密文的，即第二设备持有的始终是密文状态下的分量，无需现有技术中使用随机数掩饰梯度的步骤。此外，通过该种方式还可以实现第一设备与第二设备对隐私计算任务的联合推理。

可选地，上述步骤：获取第二向量，包括：接收第二设备发送的第二向量密文，第二向量密文由第二数据与同态加密后的第二参数生成；解密第二向量密文以得到第二向量。

可选地，上述步骤还包括：获取公钥与私钥，私钥用于解密使用公钥加密的数据；向第二设备发送公钥，公钥用于第二设备生成第二向量密文。