[发明专利]基于联邦学习的模型训练方法及装置、设备、存储介质

说明书

本申请揭示了基于联邦学习的模型训练方法及装置、设备、存储介质。联邦神经网络模型包括第一参与方对应的第一底层网络，及第二参与方对应的第二底层网络、交互层网络和顶层网络。该方法包括：在更新第一底层网络的网络参数的过程中，第二参与方计算训练损失值相对于第一底层网络的前向输出信息的第一梯度信息，并将第一梯度信息加密后发送至第一参与方；第一参与方根据接收到的加密梯度信息，计算第一底层网络对应的网络参数梯度的密文数据，并将密文数据返回至第二参与方；第二参与方对密文数据进行解密，并将解密得到的明文数据发送至第一参与方，以使第一参与方基于明文数据更新第一底层网络的网络参数。本申请能够保证模型训练的准确度。

技术领域

本申请涉及机器学习技术领域，具体涉及一种基于联邦学习的模型训练方法及装置、设备、存储介质。

背景技术

联邦学习是一种新的机器学习范式，在进行机器学习的过程中，各方参与者可借助于其它方数据进行联合建模，且各方无需共享数据资源，即在数据不出本地的情况下进行联合训练。

纵向联邦学习是联邦学习的一种类型，是在两个数据集的特征重叠较多的情况下，将数据集按照纵向（即特征维度）切分，并取出双方用户相同而特征不完全相同的那部分数据进行训练。纵向联邦学习在模型训练过程中采用的是网络切分方式，参与联邦学习的双方（可称为第二参与方和第一参与方，第二参与方知晓训练样本的标签信息）各自拥有独立的底层网络，用来提取各方的特征信息，底层网络的输出在第二参与方通过交互层网络合并处理，交互层网络的输出通过第二参与方的顶层网络得到最终结果，根据最终结果与标签信息之间的差异即可确定训练损失值，从而基于训练损失值进行模型参数的更新，以达到模型训练的目的。

在基于纵向联邦学习的模型训练过程中，第一参与方对应的底层网络的前向输出通过同态加密方式发送到交互层网络，从而保护第一参与方底层网络的输出结果，但是从交互层网络返回给第一参与方的梯度信息是第一参与方可以解密的，即第一参与方可以获得梯度信息的明文，这会导致第二参与方的标签信息存在泄露风险。为了解决此问题，现有技术是第一参与方将反向传播过程中逐渐累计得到的累计噪声叠加在梯度信息上，以基于叠加有第一参与方累计噪声的梯度信息更新交互层网络中对应于第一参与方的网络参数，但是这种方式由于梯度信息中混淆了噪声信息会降低模型的训练准确度。

发明内容

为解决上述技术问题，本申请的实施例提供了一种基于联邦学习的模型训练方法及装置、电子设备、计算机可读存储介质以及计算机程序产品。

根据本申请实施例的一个方面，提供了一种基于联邦学习的模型训练方法，待训练的联邦神经网络模型包括第一参与方对应的第一底层网络，以及第二参与方对应的第二底层网络、交互层网络和顶层网络，所述第二参与方拥有训练样本对应的标签信息；所述方法包括：将所述训练样本输入至所述联邦神经网络模型中，以通过所述训练样本在所述联邦神经网络模型所包括的各层网络中进行前向计算，得到顶层网络输出数据；根据所述顶层网络输出数据和所述标签信息计算训练损失值，并基于所述训练损失值对所述联邦神经网络模型进行反向传播处理，以更新所述联邦神经网络模型所包括的各层网络中的网络参数；其中，在更新所述第一底层网络的网络参数的过程中，所述第二参与方计算所述训练损失值相对于所述第一底层网络的前向输出信息的第一梯度信息，并将所述第一梯度信息加密后发送至所述第一参与方；所述第一参与方根据接收到的加密梯度信息，计算所述第一底层网络对应的网络参数梯度的密文数据，并将所述密文数据返回至所述第二参与方；所述第二参与方对所述密文数据进行解密，并将解密得到的明文数据发送至所述第一参与方，以使所述第一参与方基于所述明文数据更新所述第一底层网络的网络参数。