[发明专利]一种异构通信网络的分组式联邦学习方法

说明书

本发明提供了一种异构通信网络的分组式联邦学习方法，建立基于端到端通信的联邦学习系统模型，根据相关的设备异构性差异及通信场景的复杂性，计算设备之间的代价函数值，并根据代价函数值将设备进行分组，最终得到分组结果，分组结果将代价函数值小于设定阈值的参与设备划分为同一组，并在组内、组间分别进行联邦学习任务。本发明建立一种基于端到端通信的联邦学习系统模型，在终端设备进行信息通信的过程中，将具有相似通信条件与计算能力的设备分为一组，从而降低由于设备等待期造成的资源浪费与时延问题。

技术领域

本发明涉及通信网络和联邦学习技术领域，具体涉及一种通信网络的学习方法。

背景技术

在信息时代，爆炸式的数据增长成为了人工智能和深度学习发展的坚实基础。特别地，深度学习模型增强了众多领域的智能应用，如目标检测、机器健康监控、语音识别和机器翻译。训练一个性能更好的网络需要从大量的数据集中提取更多准确的特征，也正因如此，获取更多的数据至关重要。在保险、医疗和其他工业领域中，各个企业希望充分利用彼此的数据与网络模型，来获得更好的网络性能。但出于对数据隐私的考虑与担忧，各个企业之间实际上存在着“数据孤岛”的现象，这促使了联邦学习的发展。联邦学习允许各个实体在保证数据隐私性的前提下共享模型参数，从而提高训练模型的最终效果。

随着第六代无线通信和物联网技术的进步，大量的智能设备被连接到网络上，这使得联邦学习对提高无线通信系统的性能具有重要意义。然而，这些设备的通信和计算能力有很大的不同，这导致了集中式聚合的高延迟，促进了去中心式联邦学习方法的发展。

一些联邦学习方法采用集中式的聚合方式，大量的客户节点设备与服务器节点进行交互，客户节点将自身所拥有的模型参数上传至服务器节点，服务器节点进行聚合之后再下发给客户节点。该方法虽然较为便利，但在通信场景复杂和设备异构性较大的情形下会造成大量的延迟，速度快、性能好的设备必须等待速度慢、性能差的设备完成本轮任务后才能开启下一轮的模型聚合。

一些联邦学习方法采用去中心式的聚合方式，客户节点在每一轮周期更新中随机选择一个或多个客户节点，然后与所选节点交换更新后的模型参数。通过这种方式，客户节点会异步地训练和更新模型。然而，由于客户节点的异构性，如通信条件和计算能力，在通信拓扑有限的条件下，该方法表现较差。

发明内容

为了克服现有技术的不足，本发明提供一种异构通信网络的分组式联邦学习方法，建立基于端到端通信的联邦学习系统模型，根据相关的设备异构性差异及通信场景的复杂性，计算设备之间的代价函数值，并根据代价函数值将设备进行分组，最终得到分组结果，分组结果将代价函数值小于设定阈值的参与设备划分为同一组，并在组内、组间分别进行联邦学习任务。本发明解决现有联邦学习方法时延高、设备利用率不足的问题。

本发明解决其技术问题所采用的技术方案的具体步骤为：

步骤一、构建联邦学习系统模型：

所述联邦学习系统模型包括至少1个终端设备，所述终端设备具有无线通信发送和接收能力，并具有浮点计算能力；

步骤二、确定优化目标函数：

基于联邦学习系统模型，根据实际需求的人工智能训练模型，确定联邦学习任务优化目标函数；将人工智能训练模型的所有优化目标函数求和后计算均值，得到联邦学习系统模型的优化目标函数；

步骤三、测量并获取步骤一构建的联邦学习系统模型中终端设备之间的最大通信速率，以及各个终端设备的工作频率信息，计算得到终端设备之间的代价函数值；