[发明专利]一种联邦学习系统的优化方法

权利要求书

1.一种联邦学习系统的优化方法，其特征在于，具体步骤如下：首先、服务器创建机器学习全局模型S，并随机初始化全局模型S的参数，下发至所有用户端；每个用户端在接收到下发模型之后，使用各自的私有数据集对其进行训练，得到各自个性化的本地模型及对应参数，并利用张量分解对本地模型进行压缩，测试其对偏好数据集及全类型数据集的精确度；

然后，服务器根据各用户端的私有数据分布，利用Bi-kmeans将用户端进行聚类分簇，在各簇内分别计算各用户端的不平衡度，并选择不平衡度最低的用户端，放入初始的待进行上行传输的用户端集合A中，考虑剩余用户端的全类型精确度，按精确度降序将其放入集合A中，直至无剩余通信资源；

接着，需进行上行传输的用户端集合A中的各用户端将各自的个性化本地模型及对应参数，和对偏好数据集及全类型数据集的测试精确度上传至服务器；

服务器将收到的所有个性化本地模型放入集合C，并按模型结构将其分为相同模型集合C₁和差异模型集合C₂，利用联邦平均方法和无标签数据集进行聚合和对齐，获得更新后的全局模型S，并利用张量分解对全局模型S进行压缩，得到压缩后的全局模型S₁；

服务器根据客户端私有数据分布和测试精度确定用户端需求，选择待参与下行传输的用户端集合B，并将压缩后的全局模型S₁下发至用户端集合B，用户端集合B中的各用户端将所接收的全局模型S₁作为本地模型，利用各自的私有数据集对其进行训练，得到更新后的个性化的本地模型及对应参数，利用张量分解进行本地模型的压缩，并上传模型压缩率和对偏好数据集及全类型数据集的测试精度；

最后、服务器再次根据用户端的分簇结果，结合各用户端的贡献度，选择放入下一轮循环的上行传输用户端集合A₁中；返回进入联邦学习的下一轮循环，直至本地模型及全局模型皆收敛。

2.如权利要求1所述的一种联邦学习系统的优化方法，其特征在于，所述各客户端的私有数据集由Dirichlet分布模拟获得。

3.如权利要求1所述的一种联邦学习系统的优化方法，其特征在于，所述第k个客户端对测试数据集的精确度计算公式为：

其中，B为批总数，为各批次所含样本数，为每批次预测标签正确的数量。

4.如权利要求1所述的一种联邦学习系统的优化方法，其特征在于，所述第k个客户端的不平衡度计算公式为：

其中，为第k个客户端所含的第j类数据的数据量在该客户端总数据量的占比，N_class为数据类型总数。

5.如权利要求1所述的一种联邦学习系统的优化方法，其特征在于，所述相同模型集合C₁，服务器采用联邦平均的方法对所有模型进行聚合，即将各个模型对应参数按各自权重进行平均聚合，从而得到聚合模型的各参数值；

所述权重指各用户端所含数据总量占比；第r次迭代时，聚合模型的各个参数的公式为：

其中为第k个客户端所含数据大小，为客户端k所含的第j类数据的数据量，为所有用户端总数据量大小；

对于差异模型集合C₂，服务器利用无标签数据{x₁,x₂,…,x_n}进行对齐；具体地，无标签数据被输入至差异模型集合所含的各模型中，得到第r次迭代时各模型对该无标签数据集的标签集合其中c∈C₂，并将其纳入标签集合Y；

同样地，将无标签数据{x₁,x₂,…,x_n}作为聚合模型的输入，从而获得第r次迭代时聚合模型对该数据集的标签并将纳入标签集合Y；

最后，利用熵确定无标签数据{x₁,x₂,…,x_n}所对应的最终标签集合形成对齐训练集服务器利用该对齐训练集对全局模型S进行训练，并利用张量分解对全局模型S进行压缩，从而得到压缩后的全局模型S₁。