[发明专利]一种用于保护标签信息的纵向联邦神经网络模型学习方法

说明书

本发明公布了一种用于保护标签信息的纵向联邦神经网络模型学习方法，对纵向联邦神经网络模型的反向偏导进行多元高斯分布建模；根据用户提供的最大可接受的距离指标，计算得到满足该距离指标的对纵向联邦神经网络模型精度影响最小的扰动，以及对应的扰动噪声；并将扰动噪声添加至参与方的反向偏导，得到扰动后的结果，由此提高纵向联邦神经网络模型训练用于保护标签信息的隐私性和可用性。

技术领域

本发明属于数据安全和信息保护技术领域，涉及标签信息保护技术，尤其涉及一种用于保护标签信息的纵向联邦神经网络模型学习方法。

背景技术

在人工智能时代，机器学习尤其深度学习模型的获得需要大量的训练数据作为前提。但是在很多业务场景中，模型的训练数据往往分散在各个不同的业务团队、部门、甚至是不同的公司内。由于用户隐私，这些数据无法直接使用，形成了所谓的“数据孤岛”。近两年，联邦学习技术 (Federated Learning, FL)迅速发展，为跨团队数据合作，打破“数据孤岛”提供了新的解决思路，并开始从理论研究迈向批量应用的落地阶段。

联邦学习与普通机器学习任务的核心区别之一在于训练参与方从一方变为了两方甚至多方。联邦学习通过多方一起参与同一个模型训练任务，在数据不出库和保护数据隐私的前提下，完成模型训练任务，打破“数据孤岛”。例如，在两方纵向联邦学习里，参与方A（例如，某广告公司）和参与方B（例如，某社交网络平台）合作，联合训练一个或多个基于深度学习的个性化推荐模型。其中，参与方A拥有部分数据特征，例如，(X₁,X₂, …, X₄₀)，共40维数据特征；而参与方B拥有另一部分数据特征，例如，(X₄₁,X₄₂, …, X₁₀₀)，共60维数据特征。参与方A和B联合起来，就拥有了更多的数据特征，例如，A和B数据特征加起来就有100维数据特征，所以显著扩展了训练数据的特征维度。对于有监督深度学习，参与方A和/或参与方B还拥有训练数据的标签信息Y。因此，一个核心问题就在于如何协调两方或者多方一起完成一个模型训练任务的同时，保护双方的数据安全，不让任何一方得知另外一方的数据。然而，对于机器学习中最常见的二分类任务，目前已有的纵向联邦神经网络训练方法，要么存在反向偏导（Backward derivatives）泄漏标签信息的风险，要么为了保护标签信息而导致效率低下或对用户不友好的问题。

在标签信息保护技术领域，现有技术大多采用两方或多方纵向联邦神经网络模型训练的技术方案，如图1所示，现有技术的两方或多方纵向联邦神经网络模型大多服从底层-顶层（Bottom-to-Top）的模型设计，其中各个参与方的底层模型和顶层模型可为任意神经网络模型。首先，在模型训练的前向传播（Forward propagation）中，如图1左半部分所示，参与方如下运行：

·各参与方将己方的特征数据（或小批量特征数据）作为输入，进行己方的底层模型（Bottom model，参与方A的底层模型为图中所示的Bottom_A，参与方B的底层模型为图中所示的Bottom_B）的前向传播计算，得到前向激活（Forward activations），即和；

·参与方A将己方的前向激活，即，发送至参与方B，如图中虚线箭头所示；

·参与方B将接收到的前向激活，以及己方的前向激活，作为输入，进行顶层模型（Top model）的前向传播计算，得到模型预测值；

·对于模型训练，参与方B需要使用预测值与真实标签，根据损失函数（如Logistic损失函数）计算模型损失（Loss）。

为了迭代训练模型，需要执行反向传播（Backward propagation）进行模型梯度的计算以及模型更新，如图1右半部分所示，具体操作如下：

·参与方B根据模型损失，计算顶层模型的反向传播计算，计算出顶层模型的梯度，以及和对应的反向偏导（Backward derivatives），即和；

·参与方B将发送至参与方A，如图中虚线箭头所示；