[发明专利]一种面向联邦物联网系统的模型训练加速方法与系统

权利要求书

1.一种面向联邦物联网系统的模型训练加速方法，其特征是：从服务器端执行，包括以下步骤：

在全局单轮迭代中，接收客户机所上传的分类模型；

当完整收到所有客户机提供的分类模型或截止时间到期，计算客户机上传模型与本轮下发的全局模型的变化量；

对已收到的模型的特征提取层参数的变化量进行模型聚合；

对分类层参数变化量进行分析，确定不同客户机对全局模型分类的贡献度，确定不同客户机对输出层不同神经元的权重；

对于每个客户机上分类层神经元的参数变化量用相应权重值进行加权求和，获得新全局模型的分类层模型参数变化量，将特征提取层和分类层重新拼接获得新的全局模型。

2.如权利要求1所述的一种面向联邦物联网系统的模型训练加速方法，其特征是：对已收到的模型的特征提取层参数的变化量进行模型聚合的具体过程包括：

统计客户机上传模型的数量；

计算本轮参与的每台客户机占本轮参与的所有客户机的比例，获得每个客户机特征提取层参数变化量的加权因子；

将每个客户机特征提取层的参数变化量分别乘以加权因子，计算得到本轮参与的客户机加权之后的特征提取层参数变化量；

将本轮参与的客户机加权之后的特征提取层参数变化量相加，得到本轮参与的客户机聚合之后，全局模型中的特征提取层参数变化量。

3.如权利要求1所述的一种面向联邦物联网系统的模型训练加速方法，其特征是：对已收到的模型的特征提取层参数的变化量进行模型聚合的具体过程包括：

接收参与训练的客户机反馈的本地训练数据量信息；

对客户机各自反馈的本地数据量进行累加，计算本轮参与训练的数据总量；

计算本轮参与的客户机训练数据量除以本轮参与训练的数据总量的值，获得每个客户机特征提取层参数的加权因子；

计算本轮参与的客户机加权之后的特征提取层参数变化量；

将本轮参与的客户机加权之后的特征提取层参数变化量相加，得到本轮参与的客户机聚合后全局模型的特征提取层参数变化量；

将全局模型的特征提取层参数变化量与本轮全局模型的特征提取层参数相加，得到新全局模型的特征提取层。

4.如权利要求1所述的一种面向联邦物联网系统的模型训练加速方法，其特征是：对分类层参数变化量进行分析，确定不同客户机对全局模型分类的贡献度的具体过程包括：

根据客户机反馈的本地训练数据类别与各个类别训练数据的数量计算每个客户机分类层不同输出神经元相关参数变化量的权重，包括：

接收客户机反馈的本地训练数据中各个类别训练数据数量；

根据接收到客户机反馈的本地训练数据中各个类别训练数据数量，计算本轮训练中每个类别训练数据的总量；

计算本轮训练中参与训练的客户机每类训练数据占每类的训练数据总量的比例，作为输出层与相关神经元参与的加权因子。

5.如权利要求1所述的一种面向联邦物联网系统的模型训练加速方法，其特征是：对分类层参数变化量进行分析，确定不同客户机对全局模型分类的贡献度的具体过程包括：

对客户机训练后的模型在服务器验证集上进行推理，获得每个客户机模型在验证集上对每一类数据的预测准确的样本数目；

根据每个客户机模型在验证集上对每一类数据的预测准确数目，计算每一类数据预测准确的样本数目；

计算本轮训练中，参与训练的每个客户机模型预测正确类别的样本数目占每类的预测正确样本总数的比例，作为输出层与相关神经元参与的加权因子。

6.如权利要求1所述的一种面向联邦物联网系统的模型训练加速方法，其特征是：对于每个客户机上分类层神经元的参数变化量用相应权重值进行加权求和获得新全局模型的分类层模型参数变化量的具体过程包括：

计算所有客户机分类层模型变化量的加权参数，将任意索引为k的客户机上传的模型分类层与j类别相关的神经元所对应的参数乘以加权因子α_k,j；

将本轮训练中加权后的所有客户机分类层模型参数进行加和，获得全局分类层模型参数。