[发明专利]一种面向联邦物联网系统的模型训练加速方法与系统

说明书

本发明提供了一种面向联邦物联网系统的模型训练加速方法与系统，在全局单轮迭代中，接收客户机所上传的分类模型；当完整收到所有客户机提供的分类模型或截止时间到期，计算客户机上传模型与本轮下发的全局模型的变化量；对已收到的模型的特征提取层参数的变化量进行模型聚合；对分类层参数变化量进行分析，确定不同客户机对全局模型分类的贡献度，确定不同客户机对输出层不同神经元的权重；对于每个客户机上分类层神经元的参数变化量用相应权重值进行加权求和，获得新全局模型的分类层模型参数变化量，将特征提取层和分类层重新拼接获得新的全局模型。本发明可以提升面向物联网的联邦学习系统的性能和处理速度。

技术领域

本发明属于分布式计算系统技术领域与人工智能技术领域，具体涉及一种面向联邦物联网系统的模型训练加速方法与系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

移动互联设备和一些先进的物联网设备在拥有较大存储容量同时也已经具备了强大的计算能力，由于这些分布较广的设备上有强大的传感器(包括摄像头，麦克风和全球定位系统等)，意味着它们可以访问前所未有的大量隐私数据，在这些设备上收集/生成的数据上学习到的模型有望通过支持更智能的应用程序来极大提高可用性，由于用户数据的隐私可能是敏感的，意味着若将其上传至数据中心会有一定的风险和责任，导致运行这种传统的中心化方案非常困难。

在联邦学习机制下，系统可以在隐私敏感的分布式物联网设备上进行人工智能模型的训练，各客户机将本地轻度训练之后的模型发送至服务器，服务器通过聚合收到的模型以获得联合训练的人工智能模型。在上述过程中，由于联邦学习环境下客户机上数据的标签数量等属性上的差异非常大，是非独立同分布的(Non-independent and identicallydistributed)，导致不同客户机训练的本地模型在参数方面可能有很大差异，而传统方案的聚合方法可能丢失与分类相关的重要信息，从而导致系统训练模型的速度非常低下，如何提升联邦学习聚合的效率以加速模型的收敛速度，对于提升联邦学习的模型训练效率有重要意义。

目前的联邦学习中，服务器对于联邦学习中客户机的发送的模型主要通过两种方案进行聚合。比如，联邦学习服务器采用绝对平均的策略对于收到的模型进行聚合，即对所有模型每个相同位置的参数使用加权因子进行加权(S^(t)是第t轮中，服务器收到的模型集合，|·|表示集合的数目)，或者联邦学习服务器采用加权平均的策略对于收到的模型进行聚合，即对所有模型每个相同位置的参数使用加权因子进行加权(m_i表示索引为i的客户机所用训练数据的数量)。

然而，联邦学习服务器采用以上两种方法对模型进行聚合，缺乏优化考虑，换言之，联邦学习服务器通过绝对平均或者加权平均的方案没有考虑各客户机数据分布的特性，导致学习匹配特定特征的能力下降，因此，存在模型聚合效率低下的问题，从而导致系统在模型训练上耗费大量时间，降低了联邦学习的客户机上模型在联邦模型下的表达。综上所述，面向物联网的联邦学习系统的性能仍有一定的改进空间。

发明内容

本发明为了解决上述问题，提出了一种面向联邦物联网系统的模型训练加速方法与系统，本发明通过模型聚合过程中对分类层的模型参数的重新加权，使得系统获得更加快速的收敛速度，提升面向物联网的联邦学习系统的性能和处理速度。

根据一些实施例，本发明采用如下技术方案：

一种面向联邦物联网系统的模型训练加速方法，从服务器端执行，包括以下步骤：

在全局单轮迭代中，接收客户机所上传的分类模型；

当完整收到所有客户机提供的分类模型或截止时间到期，计算客户机上传模型与本轮下发的全局模型的变化量；

对已收到的模型的特征提取层参数的变化量进行模型聚合；