[发明专利]纵向联邦建模方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种纵向联邦建模方法，包括以下步骤：第一参与方确定多方重叠样本，并获取多方联邦计算中间参数；第一参与方确定双方重叠样本，并获取双方联邦计算中间参数；第一参与方基于本地样本、多方联邦计算中间参数以及各个所述双方联邦计算中间参数，计算中间梯度以及各个双方联邦计算中间梯度并执行模型更新操作。本发明还公开了一种纵向联邦建模装置、设备及计算机可读存储介质。本发明通过增加双方重叠样本的训练过程，以在各个参与方所共同拥有的重叠样本数量较少时，训练出性能优良的模型，通过中间参数进行数据交互，能够完全阻止信息泄漏，提高联邦学习中数据的安全性。

技术领域

本发明涉及联邦学习技术领域，尤其涉及一种纵向联邦建模方法、装置、设备及计算机可读存储介质。

背景技术

联邦学习是为了在保护数据隐私的情况下利用多个参与方的数据建立的机器学习模型，其中，纵向联邦学习利用多个参与方所拥有的重叠样本的不同特征来建立机器学习模型。参照图1，图1为具有3个参与方的纵向联邦学习的样本和特征视图，将来自参与方A、参与方B和参与方C的数据集通过样本对齐的方式聚合成一个大的虚拟数据集，则参与方A、参与方B和参与方C各自拥有该虚拟数据集纵向划分的一部分，其中，对齐的样本为参与方A、参与方B和参与方C的重叠样本，也就是说，参与方A、参与方B和参与方C分别拥有重叠样本的不同特征。然而，当重叠样本不够充分时纵向联邦学习很难建立起性能良好的机器学习模型，这在一定程度上限制了纵向联邦学习应用于更广泛的场景。

目前，往往通过联邦迁移学习或者半监督学习解决当重叠样本不够充分的问题。联邦迁移学习利用源领域中所拥有的充足数据资源为目标领域建立一个表现良好的预测模型，但通过联邦迁移学习建立的模型只能对目标领域的数据进行预测，而不能对所有参与方的数据进行标签预测，也就是说，通过联邦迁移学习建立的模型并不能适用于所有参与方。半监督学习可以通过对缺失特征(或特征表征)和标签的补全来提高模型性能，然而，在联邦学习下的半监督学习通常需要参与方之间复杂的交互，从而导致数据隐私的保护上存在隐患，无法有效的保护数据隐私。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种纵向联邦建模方法、装置、设备及计算机可读存储介质，旨在解决现有联邦学习中难以实现数据隐私保护与模型通用性之间的均衡的技术问题。

为实现上述目的，本发明提供一种纵向联邦建模方法，所述纵向联邦建模方法包括以下步骤：

第一参与方确定第一参与方与各个第二参与方之间的多方重叠样本，并基于多方重叠样本获取各个第二参与方对应的多方联邦计算中间参数；

第一参与方确定各个第二参与方与第一参与方之间的双方重叠样本，并基于双方重叠样本分别获取各个第二参与方对应的双方联邦计算中间参数；

第一参与方基于第一参与方的本地样本、多方联邦计算中间参数以及各个所述双方联邦计算中间参数，确定单方梯度、多方联邦计算中间梯度以及各个双方联邦计算中间梯度，基于所述单方梯度、多方联邦计算中间梯度以及各个双方联邦计算中间梯度并执行模型更新操作。

进一步地，所述第一参与方基于第一参与方的本地样本、多方联邦计算中间参数以及各个所述双方联邦计算中间参数，确定单方梯度、多方联邦计算中间梯度以及各个双方联邦计算中间梯度，基于所述单方梯度、多方联邦计算中间梯度以及各个双方联邦计算中间梯度并执行模型更新操作的步骤包括：

第一参与方基于第一参与方的本地样本确定单方损失值，基于第一参与方的本地样本和所述多方联邦计算中间参数确定多方计算损失值，并基于第一参与方的本地样本和各个所述双方联邦计算中间参数确定各个双方计算损失值；