[发明专利]一种基于特征训练的联邦学习中毒防御方法和装置

说明书

本发明公开了一种基于特征训练的联邦学习中毒防御方法和装置，利用联邦学习中泛化平均的思想，防御过程与训练过程结合，简单而高效；通过模型中间层的嵌入特征模糊中毒特征；隔离本地训练特征与全局学习特征，降低全局模型学习到中毒特征的概率。

技术领域

本发明涉及面向联邦学习中毒攻击安全领域，尤其涉及一种基于特征训练的联邦学习中毒防御方法和装置。

背景技术

作为一种新兴的机器学习型式，联邦学习被认为是一种非常有前途的隐私保护分布式学习方案。在联邦学习的规范训练中，本地客户端首先用本地训练数据与共享的全局模型训练本地模型，然后将本地梯度发送到服务器端。服务器的主要作用是接收各个客户端发送的本地更新，通过聚合规则聚合出新一轮的全局模型，再将该全局模型发布。通过这种方式，共享模型可以通过来自多个客户端的数据进行学习，而无需通过任何方式共享原始数据，进而保护本地的数据隐私。除了确保数据隐私外，联邦学习还能够通过并行化多个客户端之间的训练来降低通信成本，同时提高训练任务的效率和可扩展性。这种新兴的分布式机器学习已被多个应用程序所采用，包括Google的移动键盘预测，医疗与金融领域的分析等。

随着联邦学习的火热发展，其自然而然也成为了各种对抗性机器学习的新目标，如对抗攻击与中毒攻击。由于属于本地的客户端可以完全控制本地数据和本地训练过程，因此在训练阶段进行的中毒攻击非常容易被能够发动攻击。在中毒攻击中，恶意客户端可以通过向训练数据中注入中毒实例或直接操纵模型更新来毒害本地模型更新。联邦学习下的中毒攻击可以按照目标中毒攻击分为两类：阻止全局模型收敛的无目标攻击以及试图嵌入后门的有目标攻击。联邦学习下的中毒攻击已被证明是非高效的，例如，3％的中毒数据可能导致测试精度降低20％。鉴于中毒攻击在联邦学习中引起了极大的安全问题，设计抵御中毒攻击的解决方案至关重要。

目前为止，已有许多的研究者和许多的工作尝试设计鲁棒聚合算法降低中毒攻击的影响。由于非目标攻击试图降低主任务的测试精度，它们恶化了跨所有类的聚合模型的良性性能，因此良性更新与恶意更新之间的差异较大因此可以通过在服务器上操作的鲁棒聚合方案来检测或减轻。相反，在有目标攻击中，攻击者的期望在模型中成功嵌入后门，因此恶意更新之间由于具有相同的目标往往具有相似性，可以使用使用基于群集的或基于行为的模型检查方案来区分良性和潜在的恶意客户端。此外，另一些防御算法把重心放在了去除模型中的后门上。他们试图通过对更新向量剪切和添加噪声来消除中毒攻击的影响。然而，这些方法都未曾考虑同时对于无目标与有目标的中毒攻击的防御。

本发明动机利用分布式学习中泛化平均的思想，将模型学习到的特征进行平均模糊，保证全局模型能够学习到数据中的强特征，而忽略中毒数据上的弱特征。基于这个思想，本发明提出了一种基于特征训练的联邦学习中毒防御，通过对全局模型输出层的重训练来消除中毒攻击带来的影响。该方法基于服务器收集的本地标签信息，并通过该标签信息反向生成每个本地模型的嵌入特征。通过对本地嵌入特征进行聚合，服务器可以得到全局嵌入特征。最后使用全局嵌入特征对全局模型进行微调训练，保证全局模型能够关注数据上的强特征，而忽略中毒数据上的中毒特征。如此一来，无目标与有目标的中毒攻击的特征都无法被学习到，以此来防御无目标与有目标的中毒攻击。

发明内容

本发明的目的在于针对现有技术的不足，提供了一种基于特征训练的联邦学习中毒防御方法和装置。

本发明的目的是通过以下技术方案来实现的：一种基于特征训练的联邦学习中毒防御方法，包括以下步骤：

(1)初始化联邦学习训练环境：本地设置有M个客户端p_j参与联邦训练，云端设置1个服务器，其中，j＝1,2…,j,…,M；所述服务器由全连接层和非连接层组成；