[发明专利]一种联邦学习系统的优化方法

说明书

本发明公开了一种联邦学习系统的优化方法，属于大规模分布式边缘智能学习领域，具体为：服务器创建全局模型初始化后下发至所有用户端；各用户端分别利用各自隐私数据集进行训练，得到个性化的本地模型，随后进入联邦学习的循环过程，每一轮循环皆如下：服务器对用户端进行聚类，结合用户端的贡献度选择上行传输用户端集合，集合中各用户端压缩本地模型并上传；服务器利用联邦平均方法以及无标签数据集对本地模型进行聚合和对齐，以更新全局模型并压缩后下发到根据用户需求选择的下行传输用户端集合中；各用户端用隐私数据集再次训练为新的个性化模型，循环直至本地模型及全局模型皆收敛。因此，本发明提升了通信效率，实现了联邦学习的高效训练。

技术领域

本发明属于大规模分布式边缘智能学习领域，具体涉及一种联邦学习系统的优化方法。

背景技术

机器学习可充分利用数据进行模型训练，已被广泛应用于计算机视觉、自然语言处理以及通信等领域，但其存在着数据隐私的问题；相比而言，联邦学习无需上传或交换隐私数据，引起了工业界和学术界的广泛关注，成为机器学习的热点。

联邦学习中边缘设备的计算能力受限，导致其无法训练大规模模型；此外，不稳定的通信连接以及通信资源受限，无法支持大规模模型参数传输。因此，为了提升通信效率，各类模型压缩技术已被广泛应用于联邦学习中。

已有研究人员针对模型压缩技术展开了研究，如在模型训练和推理阶段引入三元量化，并提出了三元联邦学习协议，以减少通信损耗；利用剪枝对模型进行压缩，以减少由本地计算能力和通信带宽受限所引起的学习延迟；通过提出分布式分层张量深度计算模型，以及反向传播算法的更新方法，以在减少占用带宽的同时，提高边缘节点训练效率。

但上述工作皆局限于本地用户端和服务器使用同一种压缩模型，未考虑由于数据差异所引起的模型参数差异，从而导致的最优分解差异。此外，现有的压缩方案多采取在用户端进行压缩，当服务器端进行合并后，将聚合模型下发；此方案会导致下发时模型仍然较大，导致占用每个用户的带宽较大。

为了进一步提升通信效率，用户端选择也是可采纳的方案之一。已有文献通过考虑模型更新时的梯度和联邦学习中的参数传输距离，定义了用户端连接概率。用户端连接概率越大，该用户端被选择参与联邦学习训练的概率越大。此外，部分文献通过设定阈值以选择用户端，如通过设置自适应的损失阈值，以达到动态调整被选择用户端的数量的目的；通过抛弃大于收敛率阈值的用户端来实现用户端选择，以提升学习性能。

但上述工作皆未考虑下行用户对模型的个性需求，从而导致下行资源浪费，同时无法满足用户模型快速更新的需求。

发明内容

针对上述问题，本发明提供了一种联邦学习系统的优化方法，在保证联邦学习模型精度和用户端本地模型个性化需求的前提下，提升通信效率，实现联邦学习的高效训练。

所述联邦学习系统的优化方法，具体步骤如下：

步骤一、服务器创建机器学习全局模型S，并随机初始化全局模型S的参数，下发至所有用户端；

步骤二、每个用户端在接收到下发模型之后，使用各自的私有数据集对其进行训练，得到各自个性化的本地模型及对应参数，并利用张量分解对本地模型进行压缩，测试其对偏好数据集及全类型数据集的精确度；

所述各客户端的私有数据集由Dirichlet分布模拟获得；

第k个客户端对测试数据集的精确度计算公式为：

其中，B为批总数，为各批次所含样本数，为每批次预测标签正确的数量。