[发明专利]一种面向深度联邦学习的用户数据重建攻击方法

说明书

本发明公开了一种面向深度联邦学习的用户数据重建攻击方法，相较以往的攻击方法只能重建类别代表数据，本方法可以重建特定用户的隐私数据，并且考虑由恶意服务端实施攻击，从而避免了向原共享模型引入负面影响。此外，本方法介绍了一种多任务生成对抗模型来模拟用户数据的分布，该模型通过对输入样本的真实性、类别和所属用户身份的判别进行训练，提升生成的样本质量。为了更好的区分不同用户，本方法介绍一种基于优化的用户数据代表计算方法来刻画参与联邦学习的用户特征，用以监督生成对抗模型的训练。对于现有关注隐私保护的联邦学习架构，本发明提出的基于多任务生成对抗模型的数据重建攻击可以造成其泄露隐私。

技术领域

本发明涉及一种面向深度联邦学习的用户数据重建攻击方法，属于人工智能安全领域。

背景技术

近年来，深度学习技术越来越多地应用在网络领域，例如结合群知感知的学习任务。利用传统的中心化训练方法需要在本地存储众包数据，这通常会带来大容量数据传输、高计算量需求以及隐私泄漏等问题。因此，作为一个深度学习的移动边缘计算框架，协同学习框架受到广泛关注和研究，其可以使得多方数据源共同受益于由全体数据训练得到的共享模型，而无须将数据上传在中心存储。

联邦学习框架是目前主流的协同学习框架之一：各个数据源(即用户)首先就学习目标和模型框架达成一致，服务端初始化一个共享学习模型，用户们在本地利用各自的隐私数据集训练该学习模型，服务端收集训练后的模型/参数更新以更新全局共享模型。接着全局模型重新被下发到各个用户，迭代这个本地训练过程直到训练结束。联邦学习的优势在于，避免了中心服务端对训练数据的显式访问，提高深度学习的隐私保护程度。

近来的研究表明，协同学习易遭受到推断攻击而泄漏数据隐私，如重建攻击和成员推断攻击。这是由于共享模型的更新是源于这些隐私数据集，其数据模式被“编码”为参数更新上传，因此当攻击者构建出一个对应的“解码器”，隐私数据就能被恢复。现有攻击方法通常考虑恶意用户对一个目标实施攻击，推测其数据以隐私，但通常只能推测出类别代表数据，例如对于一个人脸识别任务，已有攻击方法能够推测对应某个ID的通用样本，但无法重建出特定用户所拥有的该ID的样本，尽管这样的通用样本可以表征该类别的特征，但实际上并不能真正造成隐私泄漏。这是由于恶意用户只能从服务端访问到更新后的模型，这是由全体用户上一轮的更新聚合得到，无法针对特定目标实施攻击。另外，现有的攻击方法要求修改共享模型的结构以实施攻击，并向常规的协同学习进程中引入了恶意影响，这样的假设超出了一个恶意用户的攻击能力，并且会造成共享模型的性能降低，容易被系统察觉，即攻击的隐蔽性较差。

本发明认为现有的面向联邦学习的数据重建攻击方法建立在过强的攻击者能力假设上，无法在实际场景中实施，并且不能推断出定向的、有价值的隐私信息，因此催生出一种基于恶意服务端的针对用户级隐私数据的数据重建攻击。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于多任务生成对抗网络的用户数据重建攻击方法。

面向深度联邦学习的用户数据重建攻击方法包含如下步骤：

1)恶意服务端参与常规的联邦学习流程，首先用户对协同学习的目标、模型达成一致，然后迭代执行：服务端下发共享模型，用户本地训练这个模型并将模型参数上传至服务端，服务端再聚合这些参数更新。直到模型收敛；

2)恶意服务端在本地构建一个多任务生成对抗网络模型，该模型包含一个生成模型G和一个判别模型D，其中D同时执行对输入样本的真实性、类别和所属用户身份的判别任务，G用于合成用户数据；

3)恶意服务端根据用户提交的参数更新来计算不同用户的数据代表，用户数据代表用来监督D模型的样本所属用户身份任务训练；

4)恶意服务端在每轮迭代过程中，利用目标用户及其他用户的参数更新来替代D模型的类别任务的训练；