[发明专利]一种基于模型参数差异化丢弃的通信高效联邦学习方法

权利要求书

1.一种基于模型参数差异化丢弃的通信高效联邦学习方法，其特征在于，包括以下步骤：

S1、确定本地模型的结构并对本地模型的参数进行初始化，所述本地模型的结构为神经网络模型，所述本地模型的参数为神经网络模型网络中连接的权重值和偏差值；

S2、通过本地数据集对初始化后的本地模型进行训练，所述本地数据集表示用户保存在本地设备的数据，且该数据具有隐私性，不能直接传输至其他用户和中心服务器；

S3、获取服务器下发的参数丢弃率并根据参数丢弃率计算允许上传的参数量；

S4、将允许上传的参数量上传至服务器；

S5、通过上传的参数量对训练后的本地模型进行聚合操作，输出全局模型；

S6、对全局模型进行判断；

S7、判断到所述全局模型不满足预设收敛条件，则服务器根据用户的环境因素下发最优参数丢弃率与全局模型，对初始化后的本地模型进行更新，基于更新后的本地模型重复循环上述步骤S2至S6；

S8、判断到所述全局模型满足预设收敛条件，输出最优全局模型。

2.根据权利要求1所述一种基于模型参数差异化丢弃的通信高效联邦学习方法，其特征在于，所述步骤S2中，对初始化后的本地模型进行训练的表达式具体如下所示：

上式中，表示第t轮用户n训练前的本地模型参数，表示第t轮用户n训练后的模型参数，η表示学习率，代表用户n的本地数据集，f_j(W)代表样本j在模型W中的损失值，表示用户n本地训练产生的梯度。

3.根据权利要求2所述一种基于模型参数差异化丢弃的通信高效联邦学习方法，其特征在于，所述步骤S3具体还包括：

S31、获取参数丢弃率，并计算本地模型的参数对于所述预设收敛条件的重要程度；

S32、选取重要程度最高的本地模型参数构建矩阵，用于表示模型稀疏化位置，所述矩阵中的元素取1表示对应位置的参数上传，元素取0表示对应位置的参数不上传；

S33、计算本地模型的每一层允许上传的神经元通道数量与对应的重要性指标；

S34、选取本地模型每一层中重要性指标最大对应的神经元通道将所述矩阵中为1的元素进行上传。

4.根据权利要求3所述一种基于模型参数差异化丢弃的通信高效联邦学习方法，其特征在于，本地模型的每一层允许上传的神经元通道的重要性指标的计算公式具体如下所示：

上式中，表示用户n的神经元通道k的重要性指标值，表示用户n在第t轮本地训练前后模型参数的变化量。

5.根据权利要求4所述一种基于模型参数差异化丢弃的通信高效联邦学习方法，其特征在于，所述步骤S5中，聚合操作的表达式具体如下所示：

上式中，m_n表示用户n的本地数据集样本数量，W^t表示第t轮聚合后的全局模型参数，表示允许上传的参数量。

6.根据权利要求5所述一种基于模型参数差异化丢弃的通信高效联邦学习方法，其特征在于，所述步骤S7中，对初始化后的本地模型进行更新的表达式具体如下所示：

上式中，表示用户n第t+1轮的训练前的本地模型，表示全局模型，表示模型稀疏化位置。

7.根据权利要求6所述一种基于模型参数差异化丢弃的通信高效联邦学习方法，其特征在于，所述步骤S7中根据用户的环境因素下发最优参数丢弃率这一步骤，其具体包括：

S71、计算每个用户在给定参数丢弃率下本地模型上传时间、每个用户在给定参数丢弃率下本地模型下发时间与本地模型进行训练的时间，构建时间计算结果；

S72、获取每个用户的本地数据集样本数量、每个用户本地数据集的分布情况和每个用户本地模型的大小情况，构建参数收集结果；

S73、整合上述时间计算结果和参数收集结果，求解最优参数丢弃率。

8.根据权利要求7所述一种基于模型参数差异化丢弃的通信高效联邦学习方法，其特征在于，所述求解最优参数丢弃率的表达式具体如下所示：

上式中，D_max表示最大的参数稀疏化率，δ表示惩罚因子，A_server表示服务器要求获得的参数量比例，表示本地模型进行训练的时间，U_n表示用户本地模型的大小，表示第n个用户第t轮参数丢弃率，表示用户n和服务器之间的上传数据速率，表示服务器和用户n之间的下行数据速率，m_n表示每个用户本地数据集的样本数量，m表示总样本数，C表示总的类别数量，表示用户n的第c个类别数据占用户n本地数据集的比例，U表示全局模型的参数量，表示用户n第t轮训练产生的损失值。