[发明专利]一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统

说明书

本发明涉及一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统，包括：(1)建立对抗参数有偏聚合的联邦学习系统模型；(2)基于联邦学习系统模型训练的目的，构建相应的目标函数；(3)根据建立的联邦学习系统模型，引入对抗用户有偏梯度聚合的功率控制因子，确定相应的空中计算通信模型；(4)收发机之间不考虑协同操作，接收器端使用非相干能量检测法进行信号处理；(5)确立基于对抗参数有偏聚合的联邦学习安全机制方法，完成联邦学习系统模型的更新训练过程。针对联邦学习训练中参与用户的梯度有偏聚合情况，本发明综合考虑用户隐私要求和缓解大规模参数传递的通信负担需求，实现了一种安全‑高效权衡。

技术领域

本发明涉及一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统，属于分布式机器学习领域。

背景技术

随着现代智能终端计算能力和存储容量的大幅提升，联邦学习这种新型的分布式机器学习算法应运而生，为实现隐私计算提供了一种有效途径。传统的机器学习方法要求将训练所用的数据集中在服务器并建立模型，而联邦学习能够在数据不共享的情况下构建全局模型，不涉及数据的传输，极大地保证了每个参与者的数据隐私安全。[BrendanMcMahan H,Moore E,Ramage D,et al.Communication-efficient learning of deepnetworks from decentralized data[J].arXiv e-prints,2016:arXiv:1602.05629.]。

在联邦学习中，边缘设备以及服务器定期上下行传递模型参数时，参与学习过程的边缘设备共享相同的无线介质以向边缘服务器传送本地更新，有限的无线频谱、功率资源可能带来严重拥塞，从而导致联邦学习的通信瓶颈。大规模的客户端很容易对通信网络造成巨大的带宽负担，为了解决这个问题，一种有前景的解决方案是执行联邦边缘学习所需的计算，利用无线多址信道的信号叠加特性的空中计算(AirComp)方法，有效降低通信开销，达到全局模型快速收敛的效果。[Zhu G,Wang Y,Huang K.Broadband analogaggregation for low-latency federated edge learning[J].IEEE Transactions onWireless Communications,2019,19(1):491-506.]。然而，由于实际情况中的多径信道、功率失准和时间同步误差，研究空中计算的相关解决方案不是一项简单的任务，而且信道状态信息(CSI)需要在服务器或边缘设备处可用。针对此问题，在接收端使用非相干检测法进行处理，从而达到更好的效果。

在使用空中计算方法的背景下，通信开销问题得到了有效解决，但多用户的参数聚合是否对全局模型的训练产生明显偏差，成为工作研究的重点。已有研究表明某些参与方可能提供有偏梯度参数指标或者在传输过程中发生错误，由于多参与方的存在使聚合结果产生较大差别，会严重影响模型参数的聚合和训练的质量。并且这些用户在参数聚合的过程中甚至会主导联邦学习训练过程，导致本地模型与全局最优模型收敛方向不一致，影响全局模型性能。[Bagdasaryan E,Veit A,Hua Y,etal.How to backdoor federatedlearning[C]International Conference on Artificial Intelligence andStatistics.PMLR,2020:2938-2948.]。现有的工作大部分是集中于直接与全局模型做趋同，并未考虑全局模型合理性。

目前比较前沿的方向是寻求最佳地管理无线网络方式，以响应联邦学习的特定需求。通常每个参与方持以同等的功率配置，这种功率设置方式下对虚报测试梯度指标的参与者并没有进行训练选择，也不能有侧重地控制参与者的较大偏差梯度指标对联邦学习模型性能的影响，这是一个亟待解决的问题。因此考虑用户自发控制功率的情况，动态的对聚合中用户参数对模型收敛影响大的部分调整更高的发射功率，以抵消在参数聚合时与模型收敛方向相反的用户参数对整个模型的影响，从而达到更快的收敛速度，实现更好的模型精度。

发明内容