[发明专利]一种考虑多服务器竞争的联邦学习激励机制方法

说明书

本发明公开了一种考虑多服务器竞争的联邦学习激励机制方法，包括：对所有参数服务器进行初始化，建立联邦学习的全局模型，并向用户发布联邦学习的训练任务；用户根据自身的条件，针对各个服务器发布的联邦学习训练任务提交自己的报价；参数服务器根据自适应多物品拍卖算法，决定获胜集和参与训练的用户所需支付的报酬；按照联邦学习步骤进行训练，参数服务器向获胜集中的用户分发全局模型，用户进行本地训练并将参数更新上传给参数服务器；在训练结束后，参数服务器会对用户上传的参数进行模型聚合，更新全局模型的参数。本方法参与者无需考虑其他参与者的信息，只需上传自身的信息就能实现参与者效益最大化的优点。

技术领域

本发明涉及计算机领域，特别涉及一种考虑多服务器竞争的联邦学习激励机制方法。

背景技术

近年来，随着移动边缘计算(MEC)技术的兴起，移动设备可以配备强大的计算和存储能力，实现本地计算和模型训练。MEC还推动了联邦学习的研究，它允许一个具有计算能力的节点社区在不损害用户隐私的情况下协作构建一个全局学习模型。具体来说，联邦学习是一种分布式学习框架，其中所有节点都基于全局模型对本地数据进行独立训练，仅将模型更新提交到参数服务器进行聚合。通过这种方式，实现分布式模型更新，保护隐私的同时提高全局模型质量。

上述联邦学习系统在很大程度上依赖于用户端本地模型更新的质量。然而，它们都基于一个共同的假设，即联邦学习有足够的用户参与。如果没有足够的补偿，用户可能不愿意参与并分享他们的模型更新。实际上，参与联邦学习任务会产生系统成本。例如，当用户参与联邦学习任务时，不可避免地会消耗其设备的资源，包括计算、通信和电池电量。此外，联邦学习框架也面临着安全性问题。例如，研究者表明通过中间梯度可以推断出训练数据的重要信息。此外，一个好奇的参数服务器可以通过生成对抗网络了解用户训练数据的私有信息。因此，用户更不愿意参与联邦学习任务，除非他们能获得足够的回报。综上所述，对于联邦学习系统设计一个有效的激励机制是非常重要的。

目前，联邦学习激励机制的研究主要集中在单个参数服务器如何选择用户进行训练的场景。然而，实际上联邦学习的应用场景更加丰富。尽管目前商业化的联邦学习软件较少，但谷歌和苹果公司已经将联邦学习应用于其产品中。未来，随着联邦学习系统的发展和成熟，更多的联邦学习应用将会涌现出来。这将使得用户很难确定自己的数据集适合哪个发布联邦学习的公司，可能导致自己的数据集价值被低估，利益降低。同时，这些公司也面临着如何获取更适合自己的用户数据集的难题。因此，为了更好地方便用户和联邦学习公司，推出一个平台供各公司和用户加入并进行管理是非常必要的。这样，联邦学习公司就可以更合理地选择用户，而用户也可以最大化自己的利益。基于双方的利益，建立这样的平台将成为未来的趋势。

因此，需要提供一种考虑多服务器竞争的联邦学习激励机制系统，为用户和联邦学习服务器自适应地设置价格，最大化其效益。

发明内容

为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种考虑多服务器竞争的联邦学习激励机制方法。

本发明的目的通过以下技术方案实现：

一种考虑多服务器竞争的联邦学习激励机制方法，包括：

对所有参数服务器进行初始化，建立联邦学习的全局模型，并定义网络结构，参数服务器宣布拍卖规则，并向用户发布联邦学习的训练任务；

用户根据自身的条件，针对各个服务器发布的联邦学习训练任务提交自己的报价；

参数服务器收到用户的报价后，根据自适应多物品拍卖算法，决定获胜集和参与训练的用户所需支付的报酬；

按照联邦学习步骤进行训练，参数服务器向获胜集中的用户分发全局模型，用户进行本地训练并将参数更新上传给参数服务器；

在训练结束后，参数服务器会对用户上传的参数进行模型聚合，以更新全局模型的参数，参数服务器会向参与训练的用户支付相应的报酬，以表彰他们的努力和贡献。