[发明专利]一种考虑多服务器竞争的联邦学习激励机制方法

权利要求书

1.一种考虑多服务器竞争的联邦学习激励机制方法，其特征在于，包括：

对所有参数服务器进行初始化，建立联邦学习的全局模型，并定义网络结构，参数服务器宣布拍卖规则，并向用户发布联邦学习的训练任务；

用户根据自身的条件，针对各个服务器发布的联邦学习训练任务提交自己的报价；

参数服务器收到用户的报价后，根据自适应多物品拍卖算法，决定获胜集和参与训练的用户所需支付的报酬；

按照联邦学习步骤进行训练，参数服务器向获胜集中的用户分发全局模型，用户进行本地训练并将参数更新上传给参数服务器；

在训练结束后，参数服务器会对用户上传的参数进行模型聚合，以更新全局模型的参数，参数服务器会向参与训练的用户支付相应的报酬，以表彰他们的努力和贡献。

2.根据权利要求1所述的联邦学习激励机制方法，其特征在于，所述网络结构采用LeNet。

3.根据权利要求1所述的联邦学习激励机制方法，其特征在于，采用同步联邦学习策略，具体是参数服务器的训练是同步的。

4.根据权利要求1所述的联邦学习激励机制方法，其特征在于，用户的报价具体为：使用用户数据样本大小计算其参与各个参数服务器训练任务所产生的能量消耗，将能量消耗作为用户拍卖的低价。

5.根据权利要求1-4任一项所述的联邦学习激励机制方法，其特征在于，所述自适应多物品拍卖算法，具体为：

首先服务器进行初始化，每个服务器对于每个用户都有一个评价指标，即用户累积训练质量其次用户初始化，每个用户上报自己的初始价格，初始价格为他们的训练消耗能量每个用户有一个当前价格用户的初始收益胜者服务器w_n为空；

对于每一个用户，对于每个服务器，当该服务器不是该用户的胜者服务器时，计算他们如果招募该用户会带来的收益进行排序，如果则依次对用户出价，出价为用户的初始价格加上一个增量∈，即直到预算耗尽；

每个用户计算他们的收益选择收益最高的服务器作为暂时的胜者并公布该用户的收益以供后续拍卖中服务器竞拍；

循环上述流程，直到达到终止条件；

终止条件：当前后两轮中所有用户的胜者服务器不变，即没有用户再被加价，则终止算法；

用户为他们的胜者服务器进行联邦学习训练任务。

6.根据权利要求5所述的联邦学习激励机制方法，其特征在于，参数服务器还包括测试数据集，所述参数服务器会在模型聚合之前，对每个用户上传的本地模型参数进行测试，使用的测试集是随机从整个测试数据集抽取出的一小部分数据，记录测试过程产生的loss；

在模型聚合之后，对全局模型在整个测试数据集进行测试，记录测试过程产生的loss。

7.根据权利要求6所述的联邦学习激励机制方法，其特征在于，定义用户训练质量指标，具体为：

假设在t_s时刻，参数服务器m的全局模型在测试集上的loss值为loss_m(t_s)，每个用户的模型参数使用随机分配的测试数据集进行测试产生的loss值为loss_n,m(t_test)，我们将用户训练质量定义为

其中和v是权重参数；

则与历史用户训练质量相对应的权重为其中0＜ρ≤1是遗忘因子；

在t_k+1次的用户训练质量的估计值为：

根据估计值，确定用户所需支付的报酬。

8.根据权利要求1所述的联邦学习激励机制方法，其特征在于，还包括，假设用户的计算能力有限，每一轮只能同时参与一个参数服务器的联邦学习训练任务。

9.根据权利要求6所述的联邦学习激励机制方法，其特征在于，采用指数遗忘函数来分配权重。