[发明专利]一种横向联邦学习系统防御方法

说明书

本发明公开了一种横向联邦学习系统防御方法，包括以下步骤：步骤1，输入:梯度集{gi(t)}n i＝1，梯度模的下界L，上界R，统计抽样比例β，抽样维度数a，输出:聚合梯度gˉ(t)，初始化:计算每个梯度gi(t)的模{∥gi(t)∥}n i＝1；步骤2，基于梯度模的过滤：计算梯度模的中值M＝median{∥gi(t)∥2}n i＝1，将满足L≤∥g(t)i∥2M≤R的梯度加入到集合S1中。本发明提供一种横向联邦学习系统防御方法，通过计算梯度之间的符号统计信息、余弦分数以及异常分数作为Mean‑Shift聚类特征，然后利用Mean‑Shift聚类算法不需要指定聚类个数的特点进行聚类，从中选择具有最多元素的簇作为最终可信集合，有效防御非定向模型投毒攻击，提高联邦学习系统的防御有效性。

技术领域

本发明涉及联邦学习领域，具体为一种横向联邦学习系统防御方法。

背景技术

联邦学习的主要目的是在本地化数据集上建立联合机器学习模型，同时提供隐私保证，这对于许多新兴场景来说是一种有吸引力的技术，不同于其他集中式的深度学习，联邦学习需要多个分布式学习者共同学习，学习过程由中央服务器协调。

然而联邦学习的分布式结构以及节点与中心节点间的通信行为，传统的网络攻击方法容易成为新的模型投毒方式，数据投毒后门攻击倾向于在神经网络学得的特征表示的协方差频谱中留下可检测的痕迹，即频谱特征，利用这种痕迹来识别和去除投毒数据，致使联邦学习系统的防御有效性降低。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种横向联邦学习系统防御方法，解决了的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种横向联邦学习系统防御方法，其特征在于，包括以下步骤：

步骤1，输入:梯度集{gi(t)}n i＝1，梯度模的下界L，上界R，统计抽样比例β，抽样维度数a，输出:聚合梯度g-(t)，初始化:计算每个梯度gi(t)的模{∥gi(t)∥}n i＝1；

步骤2，基于梯度模的过滤：计算梯度模的中值M＝median{∥gi(t)∥2}n i＝1，将满足L≤∥g(t)i∥2M≤R的梯度加入到集合S1中；

步骤3，基于符号统计量、余弦分数和异常分数的聚类，根据比例β随机选择梯度坐标的子集，在随机坐标子集上计算梯度的符号统计量{(pi,zi,ni)}ni＝1，输入{gi(t)}ni＝1执行余弦分数计算算法得到{simi}ni＝1，输入{gi(t)}ni＝1与a执行异常分数计算算法得到{dnci}ni＝1，将{(pi,zi,ni,simi,dnci)}ni＝1作为输入训练一个Mean-Shift聚类模型，选择具有最多元素的簇，将其中的梯度加入到集合S2中；

步骤4，聚合：求S1和S2的交集得到可信集合St，计算聚合梯度g^-(t)＝1|St|∑gi(t)∈St gi(t)·min(1,Mg(i)t)，Return g^-(t)。

优选的，步骤4中，聚合服务器的梯度聚合阶段，采用SignGuard-SaD算法，其步骤为：输入:学习率η，总迭代数T，客户数n，初始化:初始化模型参数W(0)∈Rd，for t in{1,2,···,T}do，每一个用户i执行：从数据集Di中随机抽小批量样本集b来计算随机梯度gi(t)，将梯度gi(t)上传给聚合服务器，等待接收聚合服务器下发的全局梯度g^-(t)，更新本地模型Wi(t)＝Wi(t-1)-ηg^-(t)。

优选的，聚合服务器的执行步骤为：

收集所有用户发来的本地梯度gi(t)；

计算全局梯度g^-(t)＝SignGuard-SaD({gi(t)}n i＝1；