[发明专利]一种基于特征训练的联邦学习中毒防御方法和装置

权利要求书

1.一种基于特征训练的联邦学习中毒防御方法，其特征在于，包括以下步骤：

(1)初始化联邦学习训练环境：本地设置有M个客户端p_j参与联邦训练，云端设置1个服务器，其中，j＝1,2…,j,…,M；所述服务器由全连接层和非连接层组成；

(2)开始联邦学习训练前，本地的每个客户端上传数据集信息，云端的服务器根据上传的数据集信息收集得到检测数据集X：X＝{x₁,x₂,…,x_i,…,x_n}，其中，x_i表示第i个检测数据，i＝1,2…,i,…,n；每个检测数据x_i都有对应的真实标签y_i，得到检测数据集X的标签集合Y：Y＝{y₁,y₂,…,y_i,…,y_n}；标签集合Y总共包含R种标签：{Y₁,Y₂,…,Y_r,…,Y_R}，其中，Y_r表示第r种标签类别，r＝1,2…,r,…,R；

(3)服务器将初始全局模型参数发送给本地的每个客户端，开始联邦学习训练；

(4)进行第k轮的联邦学习训练，每个客户端p_j通过总体损失函数进行本地模型训练，得到总体损失函数函数的梯度估计通过梯度估计得到本轮更新的本地模型参数客户端p_j将本地模型参数和标签信息上传给服务器；所述本地模型参数由本地模型的非连接层的参数和本地模型的全连接层的参数组成：

(5)服务器在收到标签信息后，对每个客户端p_j生成相应的嵌入特征针对每一种标签类别Y_r生成相对应的聚合嵌入特征得到{Y₁,Y₂,…,Y_r,…,Y_R}相对应的聚合嵌入特征集合：

(6)服务器对上传的本地模型的非连接层的参数进行聚合，得到更新后的全局模型的非全连接层的参数服务器通过通过{Y₁,Y₂,…,Y_r,…,Y_R}和对应的聚合嵌入特征集合得到更新后的全局模型的全连接层的参数随后得到更新后的全局模型参数并将更新后的全局模型参数下发给各个客户端进行下一轮联邦学习训练；

(7)重复步骤(4)-步骤(6)，直至全局模型收敛，得到最后一轮的全局模型参数，用于基于特征训练的联邦学习中毒防御。

2.根据权利要求1所述的一种基于特征训练的联邦学习中毒防御方法，其特征在于，所述步骤(4)具体包括以下子步骤：

(4.1)对于第k轮联邦学习训练，任意一个客户端p_j收到全局模型参数后，所述全局模型参数为其中，为全局模型的非全连接层的参数，为全局模型的全连接层的参数；

根据本地数据进行本地模型训练；客户端p_j第在k轮的总体损失函数表示为：

其中，表示客户端p_j在第k轮联邦学习训练过程中使用的本地数据；表示全局模型参数与变量的预测损失函数；表示变量的期望；表示本地数据中的任意一个检测数据，表示检测数据相对应的真实标签；

然后可以得到关于总体损失函数函数的梯度估计

通过对梯度估计的反向传播，得到本轮更新的本地模型参数

其中，η^k表示第k轮联邦学习训练的学习率；

所述本地模型参数由本地模型的非连接层的参数和本地模型的全连接层的参数组成：

(4.2)本地数据包含种标签，其中，客户端p_j将本地模型参数与包含种标签的标签信息上传给服务器，所述为