[发明专利]动态带宽和不可靠网络下的联邦学习架构及其压缩算法

权利要求书

1.一种基于动态带宽和不可靠网络下的联邦学习架构的压缩算法，其特征在于，动态带宽和不可靠网络下的联邦学习架构，包括云端、客户端和边缘服务器，所述边缘服务器有若干个并能够相互之间进行数据交换，所述边缘服务器中一个作为协调器，训练时，本地模型存储于客户端中并划分为若干个数据块，所述客户端利用空闲带宽将所述数据块上传至不同的所述边缘服务器中，所述边缘服务器将所述数据块进行聚合形成完整的所述本地模型，通过相互之间的数据交换由所述协调器将所述本地模型上传至云端；更新时，所述云端选择所述客户端并将所述本地模型划分为若干数据库发送至不同所述边缘服务器，被选择的所述客户端从所述边缘服务器中下载所述数据库以更新本地模型；

训练时，所述数据块在进行上传和/或数据交换前进行自适应通信压缩；更新时，所述数据块在进行下载和/或数据交换前进行自适应通信压缩；

所述本地模型的聚合模型为：

其中，为第T次迭代后全局模型的第j块参数，为第i个节点在t时刻的第j块参数，a_t为超参且满足a_t对应的条件中，δ为网络连通图概率矩阵到的第二大特征值，ε_t为t时刻因信息压缩和丢包导致的信息损失，μ和L分别对应训练时目标函数在L-smooth条件和μ-strongly convex条件下的系数。

2.根据权利要求1所述的基于动态带宽和不可靠网络下的联邦学习架构的压缩算法，其特征在于，对所述数据库进行聚合的方式为采用FedAvg聚合算法进行聚合。

3.根据权利要求2所述的基于动态带宽和不可靠网络下的联邦学习架构的压缩算法，其特征在于，所述FedAvg聚合算法模型为：

其中，d_i是客户n_i的本地训练中使用的样本数，w_*为全局解，η为学习率，t为学习次数，为梯度，为所述云端选择的客户n_i的集合。

4.根据权利要求1所述的基于动态带宽和不可靠网络下的联邦学习架构的压缩算法，其特征在于，动态带宽可描述为：

其中，b(t)为带宽限制；

不可靠网络可描述为：

p＝(1-p_b)^M

其中，p_b是每比特信息的丢失率，M是发送的数据包的总比特数。

5.根据权利要求1所述的基于动态带宽和不可靠网络下的联邦学习架构的压缩算法，其特征在于，所述压缩算法的压缩率和丢失率分别为：

其中，ε_i和r_i分别为压缩算子C(x)的损失率和压缩率。

6.根据权利要求1所述的基于动态带宽和不可靠网络下的联邦学习架构的压缩算法，其特征在于，所述数据块更新规则为：

其中，γ_t为步长参数，为中间变量。

7.根据权利要求1-6任一所述的基于动态带宽和不可靠网络下的联邦学习架构的压缩算法，其特征在于，所述压缩算法的速率收敛速度为：

其中，T为全局迭代次数，代表经过T次迭代后目标函数值与实际最优值f^*之间的期望差距，为μ_i的均值的平方，为条件参数，μ和L分别对应训练时目标函数在L-smooth条件和μ-strongly convex条件下的系数，n为节点总个数，ε_max为训练过程中每次迭代信息损失的最大值。