[发明专利]一种垂直联邦架构下的数据信息防御方法、系统、电子设备及存储介质

说明书

本发明提出一种垂直联邦架构下的数据信息防御方法、系统、电子设备及存储介质。其中，方法包括：构建了基于垂直联邦的深度学习框架，将真实网络数据集转换成嵌入并加密后上传至中央服务器，防止攻击者得到目标的上传信息从而导致隐私的泄露。本发明基于同态加密来对嵌入进行加密处理，在不断地学习训练的过程中加密嵌入，以达到攻击者无法成功获得真实信息。与其他方法相比，本发明具有防御能力强、对主要任务影响小等特点。

技术领域

本发明属于面向垂直联邦学习的用户数据保护领域，尤其涉及一种垂直联邦架构下的数据信息防御方法、系统、电子设备及存储介质。

背景技术

近年来，在越来越多的领域中，人工智能(Artificial intelligence,AI)都取得了巨大成功，如人脸识别、智慧医疗、自然语言处理和语音识别等。然而，人工智能领域仍然存在两个主要的挑战：用户数据隐私泄露和数据量少且质量低的问题。首先，在绝大多数领域，利用大量数据去训练人工智能模型可能会造成数据的泄露，包括公众的身份信息和资金往来等。其次，大数据发展到现在，已经在许多行业形成了无形的壁垒。我们将这样的情况，即大量的数据被分开存放于几乎不能相互交流的实体中，称之为“数据孤岛”。这样的现状导致了一般情况下难以训练出预测精度较高的模型。

面对这样的复杂情况，联邦学习作为一种新的机器学习形式被提出并得到了快速发展。联邦学习的目标是利用散落在互联网各处的“数据孤岛”，在不造成隐私泄露的情况下训练机器学习模型，促进行业的发展。

联邦学习是一种分布式机器学习范式，它实现参与者原始数据不出本地完成联合隐私训练的任务。与基于集中式存储用户数据的大多数现有的机器学习方法不同，在联邦学习中，数据在参与者的设备上本地保存。每个参与者都维护一个本地模型，并根据存储在该用户设备上的数据计算本地模型更新。来自多个参与者的本地模型更新被上传到协调模型训练过程的中央服务器。这些更新被聚合到一个统一的更新中，以用于更新由该服务器维护的全局模型。更新之后的结果被分发到所有用户设备以更新本地模型。此过程反复执行，直到联邦模型收敛。由于模型更新通常包含的隐私信息要少得多，并且原始用户数据从未离开设备，因此可以有效地降低隐私泄露的风险。

此外，根据参与者所拥有的本地数据的分布差异不同，联邦学习通常被分为水平联邦学习(Horizontal Federated Learning)和垂直联邦学习(Vertical FederatedLearning)。本发明主要针对垂直联邦学习范式提出隐私保护方法。虽然联邦学习框架是为了保护用户隐私才被提出的，但是攻击者仍有可能通过窃听通信通道来获取上传与下载数据，从而导致隐私的泄露。

联邦学习是为了保护参与联合深度学习的参与者的用户隐私而被提出的。然而现在的一些研究证明联邦学习中直接传输模型的梯度信息会带来潜在的隐私泄露风险，例如，一个好奇的服务器可以通过参与者上传的梯度信息推断参与者的原始数据。为了解决这种由原始梯度上传带来的隐私泄露风险，一些现有技术尝试为联邦学习的梯度设计保护隐私的方法。一种方法是对联邦学习中的模型利用差分隐私技术添加随机噪声达到对模型的保护；另一种常见的方法为梯度混淆，即对梯度进行离散化或者随机变换。然而这两种常见的隐私保护技术通常会降低模型的预测性能，降低联邦学习的收敛速度，带来额外的通信计算开销。

发明内容

为解决上述技术问题，本发明提出一种垂直联邦架构下的数据信息防御方法、系统、电子设备及存储介质的技术方案，以解决上述技术问题。

本发明第一方面公开了一种垂直联邦架构下的数据信息防御方法，所述方法包括：

步骤S1、构建基于垂直联邦学习框架，该框架由m个参与者和一个中央服务器组成，所述参与者和中央服务器都具有本地计算资源；参与者各自维护一个本地模型，所述中央服务器维护一个顶端模型；