[发明专利]一种针对联邦学习通信开销的优化处理方法及装置

说明书

本发明提供一种针对联邦学习通信开销的优化处理方法及装置。该方法包括：将初始全局模型分发到本地客户端，获得本地客户端基于自适应梯度量化模型得到的当前轮次的目标量化等级；目标量化等级用于对本地客户端在当前轮次上传的梯度进行量化；基于惰性梯度聚合模型，确定是否获取本地客户端在当前轮次对应的量化梯度；量化梯度是本地客户端基于目标量化等级对当前轮次上传的梯度进行量化得到的；对量化梯度进行聚合处理，并根据聚合结果更新初始全局模型，得到下一轮次对应的目标全局模型。本发明提供的方法，通过自适应梯度量化模型动态调整量化等级，同时通过惰性梯度聚合模型调整通信频率，有效提高了通信效率，并减少了通信开销。

技术领域

本发明涉及人工智能分析技术领域，具体涉及一种针对联邦学习通信开销的优化处理方法及装置。另外，还涉及一种电子设备及处理器可读存储介质。

背景技术

在联邦学习过程中，本地客户端与中心服务器需要经过多轮次交互才能获得满足精度条件的全局模型。对于复杂的模型训练过程，比如深度学习模型的训练，其每次模型更新可能包含大量的模型参数，导致联邦学习通信开销效率较低，所以针对提高联邦学习通信效率进行研究具有重要价值。

目前，现有技术中，为了提高联邦学习通信效率，通常采用减少模型传输次数或者降低每次客户端上传的比特数的方式。上述两种优化通信效率的方法虽然能在一定程度上减少通信开销，但各自都有其局限性，比如只能更具经验或网格搜索来确定量化等级等。因此，如何设计一种高效的针对联邦学习通信开销的优化处理方案成为亟待解决的难题。

发明内容

为此，本发明提供一种针对联邦学习通信开销的优化处理方法及装置，以解决现有技术中存在的针对联邦学习通信开销的优化处理方案局限性较高，导致联邦学习通信效率较差的缺陷。

第一方面，本发明提供一种针对联邦学习通信开销的优化处理方法，应用于中心服务器，包括：

将初始全局模型分发到本地客户端，并获得所述本地客户端基于预设的自适应梯度量化模型得到的当前轮次的目标量化等级；所述目标量化等级用于对所述本地客户端在当前轮次上传的梯度进行量化；

基于预设的惰性梯度聚合模型，确定是否获取所述本地客户端在当前轮次对应的量化梯度；其中，所述量化梯度是所述本地客户端基于所述目标量化等级对当前轮次上传的梯度进行量化得到的；

对所述量化梯度进行聚合处理，并根据聚合结果更新所述初始全局模型，得到下一轮次对应的目标全局模型。

进一步的，基于预设的惰性梯度聚合模型，确定是否获取所述本地客户端在当前轮次对应的量化梯度，具体包括：

基于预设的惰性梯度聚合模型判断当前轮次对应的量化梯度与上一轮次对应的量化梯度的差值是否大于或等于预设的梯度范围阈值，若是，则确定获取所述本地客户端在当前轮次对应的量化梯度。

进一步的，对所述量化梯度进行聚合处理，并根据聚合结果更新所述初始全局模型，得到下一轮次对应的目标全局模型，具体包括：

基于预设的量化梯度聚合模型对所述量化梯度进行聚合处理，得到梯度下降之后对应的聚合结果；

根据聚合结果更新当前训练轮次对应的所述初始全局模型，得到下一训练轮次对应的目标全局模型。

进一步的，所述自适应梯度量化模型对应的公式(1)如下：

式中，表示第m个本地客户端在第k轮次的目标量化等级，其中表示量化等级；b₀表示每个本地客户端对应的初始量化等级；表示自适应过程，是模型训练中自适应得到的，其中表示第m个本地客户端在第1轮次对应的量化梯度，表示第m个本地客户端在第k轮次对应的量化梯度，表示第m个本地客户端在第0轮次实际上传的量化梯度；表示第m个本地客户端在第k-1轮次实际上传的量化梯度；m表示第m个本地客户端。