[发明专利]一种基于预测的联邦学习通信优化方法及系统

权利要求书

1.一种基于预测的联邦学习通信优化方法，其特征在于：包括以下步骤，

步骤S1，云中心初始化，包括搭建训练模型、初始化全局模型以及所需的全局变量；

步骤S2，本地模型训练，由n个终端用户组成的用户集合U＝{u₁,u₂,...,u_j,...,u_n}中的每个用户u_j根据其本地数据并行地进行本地模型训练，得到在第t轮迭代的本地更新集合L＝{L_1,t,L_2,t,...,L_j,t,...,L_n,t}；

步骤S3，本地更新预测，预测用户集合U中每个用户u_j在第t轮迭代的本地更新，得到第t轮迭代的预测更新集合P_t，其中，P_t＝{P_1,t,P_2,t,...,P_j,t,...,P_n,t}，P_j,t表示用户u_j的预测更新，k表示更新参数的维度；

步骤S4，设置预测误差阈值，并行计算得到用户集合U中每个用户u_j在第t-1轮迭代采用其预测更新时全局模型的损失函数变化e，并为每个用户u_j设置预测误差阈值；

步骤S5，全局模型更新策略，为用户集合U中每个用户u_j制定全局模型更新策略；

步骤S6，云中心全局模型更新，云中心聚集用户集合U中所有用户上传的本地更新或者云中心准确的预测更新，计算得到聚集的全局模型更新和全局模型，模型训练进入下一轮迭代；

重复以上步骤S1～S6，直至全局模型收敛，模型训练结束。

2.根据权利要求1所述一种基于预测的联邦学习通信优化方法，其特征在于，所述步骤S4包括以下子步骤：

步骤S4-1，用于从云中心获取用户u_j第t-1轮迭代的预测更新P_j,t-1以及用户集合U中所有用户的本地更新集合L_t-1；

步骤S4-2，用于检查标记变量Check_j，若Check_j＝true，则进入步骤S4-3；反之，若Check_j＝false，则进入步骤S4-7；

步骤S4-3，用于计算用户u_j第t-1轮迭代采用预测更新P_j,t-1时的全局模型更新G_j,t-1、全局模型W_j,t-1，用户集合U中所有用户采用本地更新时的全局模型更新G_all,t-1、全局模型W_all,t-1以及全局模型的损失函数变化e，具体计算公式如(1)、(2)、(3)、(4)、(5)所示：

其中，L_-j,t-1表示非用户u_j第t-1轮迭代的本地更新；

用户u_j第t-1轮迭代采用预测更新P_j,t-1时的全局模型W_j,t-1以及用户集合U中所有用户采用本地更新时的全局模型W_all,t-1的计算公式分别如(3)、(4)所示：

W_j,t-1＝W_t-2-G_j,t-1 (3)

W_all,t-1＝W_t-2-G_all,t-1 (4)

其中，W_t-2表示第t-2轮迭代的全局模型；

进一步，全局模型的损失函数变化e的计算公式如(5)所示：

其中，f(.)表示损失函数，|.|表示绝对值；

步骤S4-4，用于比较全局模型的损失函数变化e与预先设定阈值δ的大小，若e≤δ，则进入步骤S4-6，同时设置Check_j＝false，变量T_j＝T_j+1；反之，若e＞δ，则进入步骤S4-5；

步骤S4-5，用于上传本地更新L_j,t至云中心，设置通信轮数R＝R+1，同时为了得到更加准确的预测更新，添加L_j,t至预测资源池，模型训练进入下一轮迭代；

步骤S4-6，用于设置预测误差初始阈值v_j,0，其具体计算公式如下：

v_j,0＝||P_j,t-1-L_j,t-1|| (6)

其中，||.||表示两个向量的内积；

步骤S4-7，用于设置用户u_j第t轮迭代的预测误差阈值v_j,t，其具体计算公式如下：

其中，参数T_j表示当前迭代轮数与用户u_j设置初始预测误差阈值v_j,0时轮数的差值；

重复步骤S4，为用户集合U中每个用户u_j设置预测误差阈值。