[发明专利]一种基于预测置信度序列的联邦学习成员推断方法

说明书

本发明提供了一种基于预测置信度序列的联邦学习成员推断方法，属于人工智能安全领域。该方法以揭示联邦学习存在的隐私风险为目标，解决在联邦学习场景下，不同角色的攻击者如何推断给定的数据样本是否为参与方训练集的成员的技术问题。本发明利用联邦学习中参与方训练数据和测试数据的预测置信度序列的差异，建立攻击模型学习这种差异，从而实施成员推断。本发明通过影子模型和攻击者拥有的数据集生成带标签的预测置信度序列样本，训练攻击模型；对于给定的目标样本，使用目标模型生成对应的预测置信度序列，交由训练好的攻击模型推断其成员信息。本发明提供的成员推断方法支持恶意参与方或恶意服务器窃取正常参与方的训练数据隐私。

技术领域

本发明涉及人工智能安全领域，具体涉及一种基于预测置信度序列的联邦学习成员推断方法。

背景技术

随着数据孤岛现象的出现和个人隐私保护的重视，集中学习的应用模式受到制约，而联邦学习作为一个分布式机器学习框架，可以在不泄露用户数据的前提下完成模型训练，从诞生之初就备受关注。联邦学习的架构中包含两类角色：多个参与方和一个聚合服务器。每个参与方拥有完整数据特征的数据集，且不同参与方拥有的数据样本之间没有交集或交集很小，它们可以联合起来训练一个全局模型，具体的训练过程如下：联邦学习包含多轮迭代。在每轮迭代中，聚合服务器将当前的全局模型发送给参与方，参与方使用本地数据训练全局模型，计算新的本地模型参数，并发送给服务器。服务器将接收到的参与方本地模型参数进行聚合，形成新的全局模型用于下一轮迭代。在迭代训练过程中，训练数据一直保存在参与方本地，参与方和服务器只交流模型参数，从而保证了参与方的数据隐私。然而，通信过程中交流的模型参数仍然存在隐私泄露的问题，包括成员推断在内的各种隐私攻击严重破坏了联邦学习的机密性。

在联邦学习中，成员推断攻击是用于推断给定的目标数据样本是否为正常参与方的训练数据集的成员，其本质是一个二分类问题，输入一个数据样本，输出推断标签1或0，1表示该数据样本为参与方的训练集的成员，0表示该样本不是成员。现有面向联邦学习的成员推断攻击根据攻击者的能力可分为两类：黑盒攻击和白盒攻击。其中黑盒攻击是指攻击者只能向目标模型提交数据记录并获得模型的输出结果，而无法得知目标模型的其他信息，因此通常是利用模型对训练和测试数据输出的差异进行推断。而在白盒攻击中，攻击者可获取模型的结构、参数及中间运算结果，可以利用训练和测试数据在目标模型每一层的梯度和中间结果差异进行推断。然而，现有的成员推断攻击无法适用于联邦学习的不同应用场景。当攻击者是联邦学习的参与方时，现有的黑盒攻击效果较差，因为联邦学习的聚合算法会减少每个参与方的训练数据的贡献；而现有的白盒攻击只能在包含少量参与方的联邦学习应用中生效，无法适用于数十个参与方的场景。

发明内容

本发明提供一种基于预测置信度序列的联邦学习成员推断方法，并针对攻击者在联邦学习系统中的角色设计不同的攻击方法，可分为基于预测置信度序列的本地成员推断和基于预测置信度序列的全局成员推断。其中基于预测置信度序列的本地成员推断是由恶意的参与方实施，攻击者为联邦学习参与方的其中一员；而基于预测置信度序列的全局成员推断是由恶意的服务器发起，攻击者为联邦学习的聚合服务器。本发明提供的成员推断方法支持不同类型的攻击者在联邦学习环境中对正常参与方的隐私数据进行推断，从而揭示联邦学习存在的隐私风险。

本发明提供的基于预测置信度序列的联邦学习成员推断方法包括以下步骤：

(1)在联邦学习开始前，攻击者将自己拥有的数据集划分为两部分：成员子集和非成员子集；

(2)在联邦学习的每一轮迭代中，攻击者将成员子集融入到联邦学习的训练中,并保存本轮迭代的影子模型和目标模型，同时参与全局模型的训练；

(3)在联邦学习结束后，攻击者选择成员推断攻击模型的结构，利用保存的多个影子模型对成员子集和非成员子集的每个样本生成预测置信度序列，打上对应的标签1或0，用生成的数据对攻击模型进行训练；