[发明专利]基于神经元分布特征的联邦学习中毒检测方法

说明书

本发明公开了一种基于神经元分布特征的联邦学习中毒检测方法，包括以下步骤：(1)获取在客户端训练并上传的多个边缘模型，依据每个客户端对应的相邻几次上传的边缘模型的相似度，从每次上传的多个边缘模型筛选满足筛选要求的多个边缘模型作为候选中毒模型；(2)依据模型参数的分布状态，从候选中毒模型中筛选至少1个模型作为中毒模型，并剔除中毒模型，(3)根据样本数据和标签对中毒模型进行反演以得到中毒补丁数据，依据中毒补丁数据优化服务端的聚合模型参数，得到优化后的聚合模型，将优化后的聚合模型由服务端下发到客户端作为客户端的边缘模型，用于下一轮次的边缘训练。该联邦学习中毒检测方法能够快速检测中毒模型。

技术领域

本发明属于面向联邦学习和模型安全监测领域，具体涉及一种基于神经元分布特征的联邦学习中毒检测方法。

背景技术

Google提出了联邦学习来解决训练机器学习模型的问题，即无需直接访问各种训练数据，特别是对于隐私敏感的任务。利用参与者的本地训练数据，联邦学习可以训练出不断优化的全局模型。在商业模型中部署联邦学习的应用非常广泛，并且趋势不断增长，例如贷款状态预测，健康状况评估(例如潜在的癌症风险评估)以及打字时的联想预测。

每个客户的原始数据都存储在本地，不进行交换或转移；相反，权重更新是狭义的更新，以包含针对特定学习任务所需的最少信息。在数据最小化服务中，尽可能早地执行聚合。

尽管联邦学习能够汇总不同方提供的分散的(且通常是受限制的)信息来训练更好的模型，但其分布式学习方法以及非独立同分布的数据分布可能无意中提供了为攻击者提供一种新的攻击思路。特别是，由于隐私问题或法规限制而限制对参与者个人数据的访问可能会促进对使用联邦学习训练的共享模型的后门攻击。后门攻击是一种数据中毒攻击，旨在操纵训练数据的子集，以使在经过篡改的数据集上训练的机器学习模型将容易受到嵌入了类似触发器的测试集的攻击。

RFA和FoolsGold是最近提出的两种基于距离或相似性度量标准的联邦学习聚合算法。其中，RFA汇总模型参数以进行更新，并且通过用近似几何中值替换汇总步骤中的加权算术平均值，从而对异常值具有鲁棒性。FoolsGold降低了重复提供相似梯度更新的参与方的总权重，同时保留了提供不同梯度更新的参与方的权重。

但是目前提出的大多是联邦下的中毒防御方法，首先中毒防御方法依赖于观测模型之间的距离或者相似度进行判断，但是在实际生活中，参与者的数据是以数据独立同分布形式存在，模型间的差异本身就较大，因此无法正确判断。其次这种方法无法寻找到中毒的客户端，无法从源头上进行杜绝中毒攻击。最后，单机版的中毒检测方法，例如NC(NeuralCleanse、神经元清洁防御)和ABS(Artificial Brain Stimulation，人工脑刺激防御)，无法部署到每个客户端，一是由于数据隐私问题，二是因为客户端的计算资源本就紧张，NC和ABS都需要较大的运算量才能进行检测。

发明内容

本发明考虑到数据异质性以及计算资源的效果，提供了一种基于神经元分布特征的联邦学习中毒检测方法，在寻找到恶意客户端后，通过更新值反向推导出中毒补丁，并借鉴对抗训练的方式，对上传的模型进行防御，以此来去除潜在的中毒补丁。

本发明提供的技术方案为：

一种基于神经元分布特征的联邦学习中毒检测方法，包括以下步骤：

(1)获取在客户端训练并上传的多个边缘模型，依据每个客户端对应的相邻几次上传的边缘模型的相似度，从每次上传的多个边缘模型筛选满足筛选要求的多个边缘模型作为候选中毒模型；

(2)依据模型参数的分布状态，从候选中毒模型中筛选至少1个模型作为中毒模型，并剔除中毒模型。

优选地，所述联邦学习中毒检测方法还包括：