[发明专利]一种联邦学习优化方法及装置

权利要求书

1.一种联邦学习优化方法，其特征在于，包括：

在当前轮次的联邦学习中，获取服务器端发送的全局模型和延迟全局梯度，所述延迟全局梯度是由上一轮次联邦学习中，每个客户端基于各自本地数据对上一轮次的全局梯度进行更新得到的；

基于当前轮次的全局模型和延迟全局梯度，通过本地数据对本地模型进行更新，得到联邦学习更新量，所述联邦学习更新量包括本地模型的更新量和延迟全局梯度的更新量；

将所述联邦学习更新量发送到服务器端，以供服务器端根据所述联邦学习更新量进行信息聚合，得到新的全局模型和全局梯度，并将新的全局模型和全局梯度发送到每个客户端，用于下一轮次的联邦学习。

2.根据权利要求1所述的联邦学习优化方法，其特征在于，所述联邦学习的优化目标公式为：

其中，N表示总共有N个客户端进行联邦学习任务；f_i(x)表示第i个客户端的本地损失函数，i∈[N]，[N]表示集合{1,…,N}；n_i表示第i个客户端的数据集中包含有n_i个数据，f_i,j表示第i个客户端的数据集中第j个数据的损失函数，f表示全部客户端的平均损失函数，x表示服务器端的全局模型。

3.根据权利要求2所述的联邦学习优化方法，其特征在于，所述联邦学习更新量是通过本地随机平均控制算法计算得到的，所述本地随机平均控制算法的公式为：

其中，x_i表示第i个客户端的本地模型，η表示学习步长，φ_i表示第i个客户端对全局梯度的估计，y_i,j表示上一轮次联邦学习得到随机梯度，g_i,j(x_i)表示第i个客户端的本地模型中第j个数据的随机梯度，表示当前轮次更新x_i前的随机梯度；Δφ_i表示当前轮次的联邦学习完成后，延迟全局梯度的更新量；表示本地客户端上的全局梯度估计在本地L次更新后的值，表示当前轮次的联邦学习中第i个客户端基于本地数据对应的梯度更新后的值，表示当前轮次的联邦学习中第i个客户端基于本地数据对应的梯度。

4.根据权利要求3所述的联邦学习优化方法，其特征在于，所述本地模型的更新公式为：

其中，表示第i个客户端的本地模型经过t+1次本地更新，表示联邦学习中第i个客户端的本地模型经过t次本地更新；表示经过t次本地更新后，得到延迟的本地模型序列；表示关于本地客户端所有数据的梯度，t表示本地更新的迭代次数。

5.一种联邦学习优化方法，其特征在于，包括：

在当前轮次的联邦学习中，获取每个客户端发送的联邦学习更新量，所述联邦学习更新量包括本地模型的更新量和延迟全局梯度的更新量；其中，所述延迟全局梯度是由每个客户端基于各自本地数据，对上一轮次联邦学习得到的全局梯度进行更新得到的；

根据所述联邦学习更新量进行信息聚合，得到新的全局模型和全局梯度，并将新的全局模型和全局梯度发送到每个客户端，用于下一轮次的联邦学习。

6.根据权利要求5所述的联邦学习优化方法，其特征在于，所述根据所述联邦学习更新量进行信息聚合，得到新的全局模型和全局梯度，包括：

通过信息聚合公式，对每个所述联邦学习更新量进行信息聚合，得到新的全局模型和全局梯度，所述信息聚合公式为：

其中，x表示服务器端的全局模型，N表示总共有N个客户端进行联邦学习任务，Δx_i表示第i个客户端本地模型的更新量，φ表示服务器端的全局梯度，S表示本轮参与本地模型更新的客户端数量；Δφ_i表示在本轮次更新中，第i个客户端基于本地数据对延迟全局梯度的更新量。