[发明专利]一种半异步联邦学习方法及系统

权利要求书

1.一种半异步联邦学习方法，其特征在于，包括：

在某一轮次开始时，选择若干个客户端参与当前轮次的训练，为每个客户端分配学习率，并将当前轮次的服务器模型和时间戳发送给选择的客户端，以使选择的客户端采用本地数据集对服务器模型进行优化，得到客户端模型并返回；

根据每个客户端的平均训练时间，为每个客户端分配学习率；对于客户端c，其在过去τ次参与训练所用的平均时间定义如下：

其中，代表在第i次参与训练时所花费的轮次数目，即从接收全局模型开始训练，到成功将模型发送给服务器端所经历的时间，根据平均训练时间客户端c的自适应学习率可定义为如下形式：

其中，η表示全局平均学习率，即：

其中，n表示与服务器连接的客户端的总数，客户端的学习率与平均完成模型训练所需要的时间成正比，这样，速度慢的客户端要比速度快的客户端分配更大的学习率，从而加快模型收敛速度和减小模型的偏置；

所述客户端对服务器模型进行优化时，通过添加正则约束项的损失函数以及分配的学习率，使用梯度下降算法进行优化；

周期性地对某一轮次客户端返回的客户端模型进行分组后，依次进行组内聚合和组间聚合，对服务器模型进行更新，得到下一轮次的服务器模型；

将在同一轮次接收到服务器模型的客户端分为一组；具体实现方式如下：在第t轮，服务器将最新的服务器模型以及当前轮次t发送给随机选择的客户端子集S_t，在经过固定的时间周期T_d后，服务器将客户端上传的优化后的深度模型进行分组之后再进行聚合，分组方式如下：设代表在第t轮将训练完成的模型发送到服务器端的客户端集合，其中每一个客户端均是在之前的轮次i(1≤i≤t)中接收到全局模型，用符号来表示在第i轮接收到服务器模型，并在第t轮中成功地将更新后的模型发送到服务器端的客户端集合，这样可以将划分为t组；

在某一轮次对服务器模型进行更新时，下一轮次的服务器模型为所述组间聚合后得到的聚合模型与当前轮次的服务器模型的加权和。

2.如权利要求1所述的一种半异步联邦学习方法，其特征在于，所述组内聚合表示为：

其中，是第i组中的客户端c返回的客户端模型，为第t轮次第i组的组模型，表示客户端c的本地数据集中的样本数目，表示在第i轮次接收到服务器模型并在第t轮次中将客户端模型返回的客户端集合。

3.如权利要求1所述的一种半异步联邦学习方法，其特征在于，所述组间聚合表示为：

其中，α是超参数，表示客户端c的本地数据集中的样本数目，表示在第i轮次接收到服务器模型并在第t轮次中将客户端模型返回的客户端集合，为第t轮次中第i组的组模型，θ_t表示第t轮次的聚合模型。

4.一种半异步联邦学习系统，用于实现权利要求1-3任一项权利要求所述的半异步联邦学习方法，其特征在于，包括：

客户端选择模块，其被配置为：在某一轮次开始时，选择若干个客户端参与当前轮次的训练，为每个客户端分配学习率，并将当前轮次的服务器模型和时间戳发送给选择的客户端，以使选择的客户端采用本地数据集对服务器模型进行优化，得到客户端模型并返回；

模型更新模块，其被配置为：周期性地对某一轮次客户端返回的客户端模型进行分组后，依次进行组内聚合和组间聚合，对服务器模型进行更新，得到下一轮次的服务器模型。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一项所述的一种半异步联邦学习方法中的步骤。

6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3中任一项所述的一种半异步联邦学习方法中的步骤。