[发明专利]一种基于对抗噪声注入的垂直联邦学习方法和装置

说明书

本发明公开了一种基于对抗噪声注入的垂直联邦学习方法，包括以下步骤：边缘客户端数据对齐，保证数据特征相同，不同边缘客户端之间相同训练数据成员id进行数据对齐匹配；边缘客户端和服务器端模型初始化工作准备，包括服务商协商选定客户端边缘网络模型和服务器端网络模型和结构，模型参数初始化设置；将客户端边缘网络模型训练产生的中间信息送至信息去敏装置注入对抗性噪声；将边缘客户端去敏的中间信息上传给服务器，利用服务器上布置的网络模型进行训练，并将梯度信息重新反馈给边缘客户端，迭代训练过程，直至联邦模型收敛。该发明不仅保护数据隐私还有效提升了模型的收敛速率，增强了垂直联邦学习框架的实用性。

技术领域

本发明涉及图神经网络、隐私保护领域，具体涉及一种基于对抗噪声注入的垂直联邦学习方法和装置。

背景技术

随着物联网技术和社交网络的迅速发展，边缘设备的数据存储量呈现指数级增加，由于通信代价和数据隐私安全的问题，将原始数据发送到第三方机构进行集中处理是不切实际的。因此联邦学习(Federated learning)成为了现代分布式机器学习的一种典范，它将边缘设备(如智能手机、物联网设备、边缘服务器)协作训练一个全局模型。

根据参与联邦模型训练的客户端数据分布特征不同，联邦学习可以被划分为水平联邦学习、垂直联邦学习和联邦迁移学习。水平联邦学习场景下，客户端拥有的数据特征是相同的；垂直联邦学习中客户端的数据特征是不同的，但是数据的成员存在交集；联邦迁移学习则面对数据特征和成员都有很少的交集的情况。

由于垂直联邦学习的客户端数据分布特性，其越来越受到服务商的青睐。针对垂直联邦学习有很多算法框架，其中分裂学习(Split learning)是一种有效解决图数据在垂直联邦学习场景下的学习框架。现阶段基于分裂学习搭建的垂直联邦学习图神经网络框架注重提升框架的效率和通信成本，而忽略了框架的隐私安全。

间接保护垂直联邦学习网络框架的技术，主要分为两类，一类是基于密码学理论的加密保护，另一类是基于脱敏技术的隐私信息剥离。

常见的加密方法有同态加密和多方安全计算：一方面这些方法要求有很高的计算量，不适合计算资源有限的边缘端设备使用；另一方面这些方法都要求第三方服务器是一个诚实且公正的，一旦第三方和攻击者串通则会导致中间信息加密失败。

公开号为CN112560059A的说明书公开了一种基于神经通路特征提取的垂直联邦下模型窃取防御方法，包括：(1)将数据集中的每张样本平均分成两部分，组成样本集D_A和D_B，且仅样本集D_B包含样本标签；(2)依据D_A对边缘终端P_B的边缘模型M_A进行训练，依据D_B对边缘终端P_B的边缘模型M_B进行训练，P_A将训练过程产生的特征数据发送给P_B，P_B利用接收的特征数据和激活神经元通路数据计算损失函数，P_A和P_B并将各自的损失函数掩码加密后上传至服务端；(3)服务端对上传的损失函数掩码解密并聚合后求解聚合的损失函数获得M_A和M_B的梯度信息，并返回梯度信息至P_A和P_B以更新边缘模型网络参数。