[发明专利]一种无线通信场景下高通信效率的联邦学习方法

说明书

本发明公开了一种无线通信场景下高通信效率的联邦学习方法，该方法包括：S1、从无线通信场景下的联邦学习系统、训练算法、通信模型三方面出发构建联邦学习框架；S2、针对构建的联邦学习框架，对其训练过程进行收敛性分析；S3、根据收敛性分析的结果构建一个关于该联邦学习框架的优化问题，并通过一种针对设备选择和波束赋形的联合优化方法来解决该问题。本发明基于空中计算和二阶训练算法，一方面通过信道的波形叠加特性实现低延迟的模型聚合，另一方面通过二阶算法的快速收敛特性减少了训练所需的迭代轮数，解决了目前大部分无线联邦学习方法所存在的通信瓶颈问题。同时，通过所提出的针对联邦学习框架的联合优化方法进一步提升了训练的精确度。

技术领域

本发明涉及无线通信和联邦学习领域，特别地涉及一种无线通信场景下高通信效率的联邦学习方法。

背景技术

现今人工智能(AI)的相关技术正处于飞速发展的阶段，在各种场景中被研究与应用。作为一种数据驱动的技术，其可靠性和准确性很大程度上取决于数据源的大小和质量。然而，对于大部分的企业来说，获取一个用于AI模型训练的、高质量的数据集并不容易。同时，数据隐私问题也逐渐被人们所重视，现实应用中的数据也形成了一个个数据孤岛，导致在云端汇聚数据进行AI模型训练的工作愈发困难。因此，联邦学习成为了一种新的学习范式来解决上述这些问题。一个普适的联邦学习框架可以被描述为一个分布式的训练过程，并且每一轮的迭代过程可以被描述为以下三步：首先，中心服务器将当前的全局模型参数广播给所有参与训练的设备；随后，每个设备基于其自身的数据集进行本地模型训练并将更新回传给服务器；最后，服务器将所有设备的更新值汇聚并计算得到用于下一轮训练的全局模型参数。本质上来看，这一过程就是服务器和设备共同解决一个分布式的优化问题，而这种模式通常被称为联邦优化。与中心化的优化不同，联邦优化面临着许多挑战，包括通信效率、数据异构、安全、系统复杂度等。而在这些挑战中，由于服务器与设备间的通信常会收到不可靠的网络连接、有限资源、延迟等因素影响，通信效率问题也被认为是联邦优化中的一项核心挑战。

为了处理联邦学习中的通信效率问题，近年来大批学者在其上进行了大量的研究工作。一方面，减少每一轮迭代过程中的通信量被认为是一种有效的方法。具体来看，量化和稀疏化的技术被用来减少传输的比特数以及移除参数中多余的更新，同时，还有一些学者采用了低秩的压缩方法来到达较高的压缩率并维持模型的质量。这些压缩技术在处理高维模型展现出了显著的效果，然而，它们的设计都需要考虑到与通信模型的兼容性问题。另一方面，减少总的通信轮数被视作是核心目标。在某些特殊情况(如非光滑目标函数、黑盒攻击)下，零阶算法由于其仅需利用目标函数值来近似梯度信息的特性而被广泛采用。而在梯度信息可得的情况下，一阶算法，如梯度下降等，是更为人熟悉的算法。通过在其基础上，增加本地计算量，总的迭代轮数被证明是可以有效减少，一系列的方法也随之研究开发。

由于无线信道存在噪声干扰，并且资源有限、延迟较高的特性，联邦学习模型参数的传输在无线信道中面临着更加严峻的挑战。上述提到现有的零阶和一阶方法在最优条件下也只能达到线性的收敛速度，从而导致达到需求准确率所需的迭代轮数相对较多。因此，二阶优化算法由于其二次的收敛速度在无线环境中展现出了较大的潜力。尽管如此，标准的二阶牛顿更新方向的构建同时需要Hessian矩阵和梯度信息，而Hessian矩阵的信息聚合会带来巨大的通信负担，为了处理这个问题，许多近似的分布式二阶优化算法被提出，主要包括显式利用Hessian信息和隐式利用Hessian信息这两大类。

发明内容

针对现有方法中所存在的通信效率问题，本发明的目的旨在提供一种无线通信场景下高通信效率的联邦学习方法，解决通信效率的瓶颈问题。

为了实现上述目的，本发明所采用的具体技术方案是：

一种无线通信场景下高通信效率的联邦学习方法，包括以下具体步骤：

S1、联邦学习框架的构建；