[发明专利]基于联邦学习的后门攻击防御方法、系统及可存储介质

说明书

本发明公开了一种基于联邦学习的后门攻击防御方法、系统及可存储介质，属于人工智能技术领域，通过计算三个特征参数可以精确表征训练模型更新的数据分布，神经网络内部结构和输出的细粒度差异，从而对中毒模型实现精准识别。同时结合新型聚类模型更新的设计，本发明能够消除包含具有高攻击影响的中毒模型的模型集群。此外，基于权重裁剪的防御可以有效地减轻可能未被检测到的中毒模型的影响。本发明充分考虑了攻击者的各种攻击手段，可以减轻最先进的后门攻击，而不影响模型在良性数据上的性能，达到良好的防御效果。

技术领域

本发明涉及人工智能技术领域，更具体的说是涉及一种基于联邦学习的后门攻击防御方法、系统及可存储介质。

背景技术

目前，机器学习中的隐私与安全问题是大数据时代非常重要的研究领域之一。随着数据挖掘等技术的深入发展，个人隐私通过数据泄露的现象越来越常见，甚至出现了大规模的信息泄露事件。此外，各种机器模型越发成熟且得到广泛应用，包括金融、医疗等多种领域，模型的安全性显得愈发重要。因此，在机器学习模型中部署针对可能存在的恶意攻击者的防御算法得到广泛关注。

随着大数据的不断发展，如何在保护数据隐私和安全的前提下进行跨组织的数据合作已经成为了世界性的议题，联邦学习(Federated Learning，FL)就在这样的背景下应运而生。联邦学习可以使多个客户端在一个中央服务器下协作训练神经网络模型。其中客户端使用他们自己的数据在本地训练他们的模型，并且只将训练好的模型更新发送到中央服务器，中央服务器聚合更新并将生成的全局模型分发回所有客户端。同时联邦学习承诺客户将他们的训练数据保密，使得提高效率的同时保障了安全。这些优点让联邦学习在具有隐私敏感数据的应用程序中大受欢迎。

但另一方面，因为服务器无法控制参与客户端的训练过程，所以攻击者可以破坏一部分客户端，后门攻击(Backdoor Attacks)就是一种常见的攻击方法。它指的是攻击者通过带有后门触发器的恶意数据训练模型后，获得一个带有后门的中毒模型。这类模型在输入恶意数据时会将其错误分类到某一特定类别，但是当输入良性数据时可以正确分类。这类攻击具有极强的隐蔽性和鲁棒性，给攻击检测和防御带来了一定挑战。

目前对于联邦学习后门攻击的防御主要遵循两种策略，一为旨在检测和删除中毒模型，二为旨在限制攻击的影响。在第一种策略中，与大多数模型更新不同的客户端的模型更新被认为是可疑的，并且会被删除。然而，这些方法同时会删除具有偏差数据分布的客户端的良性模型，导致聚合模型对这些客户端的性能不佳。此外，这些防御在动态攻击场景中无效。第二种防御策略的缺点是它不能有效对抗具有高攻击影响的中毒模型更新。例如，当将带有后门的训练样本添加到原始良性训练数据中时，中毒模型在后门任务上实现了更高的准确率和鲁棒性。

因此，为了解决现有技术的不足，如何提供一种基于联邦学习的后门攻击防御方法、系统及可存储介质是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于联邦学习的后门攻击防御方法、系统及可存储介质，充分考虑了攻击者的各种攻击手段，可以减轻最先进的后门攻击，而不影响模型在良性数据上的性能，达到良好的防御效果。

为了实现上述目的，本发明提供如下技术方案：

一方面，本发明提供了一种基于联邦学习的后门攻击防御方法，基于客户端，包括：

特征提取：获取并统计参与联邦学习的各个客户端的局部模型数据，计算特征参数除法差异DDifs、归一化能量更新NEUP以及余弦距离，进行同质性特征提取；

分类：计算各个客户端的局部模型超过特征参数归一化能量更新NEUP阈值的数量，并使用其中数量的1/2作为分类边界值，根据边界值对局部模型中的中毒模型进行标记；

中毒簇识别与删除：根据聚类结果以及标记结果，计算每个聚类中毒标记模型的百分比，根据百分比结果对集群模型进行识别，根据识别结果保留和/或删除集群模型；