[发明专利]一种基于二阶导数解决联邦学习中数据不平衡问题的方法

权利要求书

1.一种基于二阶导数解决联邦学习中数据不平衡问题的方法，其特征在于，所述方法包括以下步骤：

S1：云端服务器初始化全局模型和代理数据集，其中代理数据集由边缘客户端上传本地数据构成，是一个表征全局数据失衡信息的数据集；

S2：当第一轮全局迭代或者本轮迭代的测试精度相比于上轮迭代的测试精度小于某个阈值时，云端服务器通过计算损失函数关于全局模型参数的二阶导数来获得全局模型参数重要性权重；

S3：云端服务器向边缘客户端下发全局模型、全局模型参数重要性权重和全局数据失衡信息；

S4：边缘客户端根据收到的全局模型、全局模型参数重要性权重和全局数据失衡信息构建正则项，将正则项添加到预先设置的优化目标上构成新的优化目标，从而减小本地模型与全局模型之间的差异以及降低大类对全局模型的贡献，然后利用本地数据在本地执行模型训练，并将训练好的本地模型上传给云端服务器；

S5：云端服务器利用接收到的本地模型更新全局模型；

S6：云端服务器判定全局模型精度是否达到预设值，未达到则返回S2，达到则训练结束；

步骤S2中，所述获得全局模型参数重要性权重的具体过程如下：

S2-1：将代理数据集D_proxy按照数据类别划分为不同的子集记为S＝{S₁，S₂，...，S_p，...}，给定一个数据样本和全局模型w^g，关于数据样本的全局模型参数重要性权重计算如下：

其中L(.，.)是损失函数，是全局模型关于数据样本的输出；

S2-2：通过累加S_p中所有数据样本的以获得关于类别p的全局模型参数重要性权重如下式所示：

其中|S_p|是代理数据集中类别p的样本数；

S2-3：通过累加子集S中所有类别的以获得全局模型参数重要性权重γ，如下式所示：

其中|S|是代理数据集中的类别数。

2.根据权利要求1所述一种基于二阶导数解决联邦学习中数据不平衡问题的方法，其特征在于：步骤S3中，所述全局数据失衡信息具体是指：通过分析代理数据集D_proxy得到的大类和小类的信息，记为I，其中大类指代理数据集中样本数量更多的类别。

3.根据权利要求1所述一种基于二阶导数解决联邦学习中数据不平衡问题的方法，其特征在于：步骤S4中，所述边缘客户端根据收到的全局模型、全局模型参数重要性权重和全局数据失衡信息构建正则项的具体过程如下：

S4-1：根据收到的全局模型和全局模型参数重要性权重计算正则项其中w_k，ij为边缘客户端k本地模型中第i行第j列的模型参数，γ_i，j为全局模型中第i行第j列的模型参数的重要性权重，λ为超参数；

S4-2：根据收到的全局模型参数重要性权重和全局数据失衡信息I计算正则项其中w_k为边缘客户端k的本地模型，μ为超参数。

4.根据权利要求3所述一种基于二阶导数解决联邦学习中数据不平衡问题的方法，其特征在于：步骤S4中，新的优化目标具体是指：h_k(w_k)＝L_k(w_k)+R₁+R₂，其中L_k(w_k)为边缘客户端k预设的优化目标。