[发明专利]一种面向异质场景的异步联邦学习方法、装置及存储介质

说明书

本发明公开了一种面向异质场景的异步联邦学习方法、装置及存储介质，方法包括：从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端；对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器；所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型；对所述第一联邦模型进行策略集成处理，得到第二联邦模型；对所述第二联邦模型进行模型评估，确定目标联邦模型。本发明能够提高模型准确率并且降低通信成本，可广泛应用于人工智能技术领域。

技术领域

本发明涉及人工智能技术领域，尤其是一种面向异质场景的异步联邦学习方法、装置及存储介质。

背景技术

随着物联网的快速发展，一个多功能网络得以创建，来连接交通运输、健康护理、行政管理等各领域的大量设备，以支持多样性数据感知和服务体验提升。但由于用户信息变得敏感，数据被统一收集在数据中心的模式可能违反数据安全和隐私保护相关的法律法规，使得数据处理范式开始从集中式数据集成转向分布式参数聚合。

为了消除数据安全和数据隐私造成的数据孤岛，一种名为联邦学习的去中心化机制被提出。该机制通过不共享原始数据的方式，利用每个学习参与者的本地数据和计算资源来训练一个全局模型。联邦学习可以在同步环境下工作，即所有的学习参与者都有相同的工作计划。而允许参与者相对独立、不受其他参与者制约地参与训练的异步联邦学习，更加适于泛在的异质物联网系统。

因目前的研究通常在同步环境下进行，所以异步联邦学习仍然面临诸多挑战。首先，由于本地数据的生成通常与用户的行为一致，所以数据可能在4V特征(即Volume、Variety、Value、Velocity)上有所不同。因此，选择合适的客户端数据，并解决本地数据之间的异质性，来训练一个高性能的全局模型变的十分困难。其次，所选客户端的运行状态可能会随着时间与空间的变化而而发生变化，因此应尽量减小客户端与服务器的通信延迟，减少学习入侵，并有效解决上传本地模型时的延迟问题，以此提高模型训练的性能。

针对这些问题，现有方案多通过解决数据异构性来提高模型准确率，并通过压缩数据包来降低客户端与服务器之间的通信成本，但同时实现准确率的提升和通信成本的降低变的十分困难。最近，一种更先进的解决方案，即设计并联合使用时间加权聚合策略和分层模型更新策略，使模型在准确率和收敛性方面具有更好的性能。然而，如何集成客户端激活、通信优化和聚合增强策略，在提高模型准确率的同时降低通信成本，来有效支持异步联邦学习，尚未得到深入讨论。

发明内容

有鉴于此，本发明实施例提供一种面向异质场景的异步联邦学习方法、装置及存储介质，以提高模型准确率并且降低通信成本。

本发明的一方面提供了一种面向异质场景的异步联邦学习方法，包括：

从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端；

对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器；

所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型；

对所述第一联邦模型进行策略集成处理，得到第二联邦模型；

对所述第二联邦模型进行模型评估，确定目标联邦模型。

可选地，所述从候选客户端中确定目标客户端，包括：

从所述候选客户端中的每个客户端获取感知数据；

根据每个客户端中获取到的感知数据，计算每个客户端的自相关熵；

根据每个客户端的自相关熵和信息性客户端激活策略，从所述候选客户端中选取自相关熵最高的客户端作为所述目标客户端。

可选地，对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器，包括：