[发明专利]基于深度强化学习的联邦学习客户端智能选取方法及系统

说明书

本发明公开了一种基于深度强化学习的联邦学习客户端智能选取方法及系统，该方法包括：联邦平台通过从联邦服务市场环境中收集客户端的状态作为输入，输入到基于策略网络的客户端选择智能体中，输出客户端选择方案；联邦平台根据当前环境状况以及客户端选择方案从多个候选客户端中选取一组最优的客户端以协同训练联邦学习模型，并将联邦学习性能作为奖励反馈给客户端选择智能体，以奖励用于优化更新策略网络；策略网络通过强化学习方法离线训练得到。本发明可从候选移动边缘设备中选择高质量的设备参与联邦学习，以处理分布式客户端低质量数据问题，以显著提高联邦学习质量。

技术领域

本发明涉及大规模分布式边缘智能学习系统的性能优化技术领域，尤其涉及一种基于深度强化学习的联邦学习客户端智能选取方法及系统。

背景技术

移动边缘设备的普及使得边缘产生的数据快速增长，同时也促进了现代人工智能应用的繁荣发展。然而，由于隐私问题和高昂的数据传输成本，传统的在云端收集大量数据进行集中式模型训练的机制变得不太可取。为了在不泄露隐私的前提下充分利用数据资源，一种新的学习范式应运而生，即联邦学习(Federated Learning,FL)，它可以让移动边缘设备在不共享其原始数据的情况下协同训练全局模型。在联邦学习中，分布式设备使用自己的数据在本地训练全局模型，然后将模型更新提交给服务器进行模型聚合，聚合后的模型更新用于更新全局模型，然后返回给每个设备以进行下一轮的迭代。全局模型的训练过程便可以通过这种方式以分布式和隐私保护的方式迭代完成。

联邦学习尽管在隐私保护方面具有巨大的潜力，但在实现高性能学习质量方面仍然面临着技术挑战。与在数据中心进行训练时数据充足且资源不受限制不同，参与联邦学习的分布式设备通常在硬件条件和数据资源上都受到限制，且存在异质性，这会极大地影响学习性能。例如，由于传感器的缺陷和功率的限制，移动设备难免会收集一些错误标注的低质量数据，导致设备本地学习质量参差不齐。然而，不加区分地聚合低质量的模型更新会反向恶化全局模型的质量。因此，客户端选择，尤其是从候选客户端中选择合适的移动设备参与分布式学习，成为高质量联邦学习的关键。

最近，现有的一些工作提出了一些联邦学习的客户端选择方案。例如，Nishio等人提出了一种资源感知的选择方案，根据客户端的计算和通信资源选择客户端，使得能够在有限的资源约束下最大限度地增加参与者的数量，加速联邦学习性能的提升。Mohammed等人通过选择模型测试精度较高的候选客户端参与联邦学习的训练过程，提高了联邦学习的学习精度。Huang等人提出了一种有公平性保证的客户端选择方案，可以在联邦学习的训练效率和公平性之间取得良好的权衡。为了减少联邦学习训练的延迟，Xia等人提出了一种基于多臂老虎机的在线客户端调度方案，可以显著缩短模型训练的时间开销。Wang等人提出利用强化学习智能选择联邦学习的参与客户端，以克服客户端非独立同分布的数据对学习性能的负面影响，加快模型训练过程。但是，现有的客户端选择方案并没有充分考虑客户端的数据质量对联邦学习性能的影响，如何综合考虑客户端的数据数量、数据质量、计算资源等因素对模型训练质量的影响，为联邦学习智能地选取高质量的参与节点，仍需进一步探索和研究。

发明内容

本发明提供了一种基于深度强化学习的联邦学习客户端智能选取方法(以下简称AUCTION)及系统，用以解决现有的客户端选择方案并没有充分考虑客户端的数据数量、数据质量、计算资源等因素对联邦学习性能的影响的技术问题。

为解决上述技术问题，本发明提出的技术方案为：

一种基于深度强化学习的联邦学习客户端智能选取方法，应用于联邦服务市场框架，联邦服务市场框架包括一个以一定的预算招募客户端完成联邦学习任务的联邦平台和多个愿意参与联邦学习并向联邦平台提交联邦学习任务的候选客户端；包括以下步骤：