[发明专利]一种针对联邦学习通信开销的优化处理方法及装置

权利要求书

1.一种针对联邦学习通信开销的优化处理方法，应用于中心服务器，其特征在于，包括：

将初始全局模型分发到本地客户端，并获得所述本地客户端基于预设的自适应梯度量化模型得到的当前轮次的目标量化等级；所述目标量化等级用于对所述本地客户端在当前轮次上传的梯度进行量化；

基于预设的惰性梯度聚合模型，确定是否获取所述本地客户端在当前轮次对应的量化梯度；其中，所述量化梯度是所述本地客户端基于所述目标量化等级对当前轮次上传的梯度进行量化得到的；

对所述量化梯度进行聚合处理，并根据聚合结果更新所述初始全局模型，得到下一轮次对应的目标全局模型。

2.根据权利要求1所述的针对联邦学习通信开销的优化处理方法，其特征在于，基于预设的惰性梯度聚合模型，确定是否获取所述本地客户端在当前轮次对应的量化梯度，具体包括：

基于预设的惰性梯度聚合模型判断当前轮次对应的量化梯度与上一轮次对应的量化梯度的差值是否大于或等于预设的梯度范围阈值，若是，则确定获取所述本地客户端在当前轮次对应的量化梯度。

3.根据权利要求1所述的针对联邦学习通信开销的优化处理方法，其特征在于，对所述量化梯度进行聚合处理，并根据聚合结果更新所述初始全局模型，得到下一轮次对应的目标全局模型，具体包括：

基于预设的量化梯度聚合模型对所述量化梯度进行聚合处理，得到梯度下降之后对应的聚合结果；

根据聚合结果更新当前训练轮次对应的所述初始全局模型，得到下一训练轮次对应的目标全局模型。

4.根据权利要求1所述的针对联邦学习通信开销的优化处理方法，其特征在于，所述自适应梯度量化模型对应的公式(1)如下：

式中，表示第m个本地客户端在第k轮次的目标量化等级，其中表示量化等级；b₀表示每个本地客户端对应的初始量化等级；表示自适应过程，是模型训练中自适应得到的，其中表示第m个本地客户端在第1轮次对应的量化梯度，表示第m个本地客户端在第k轮次对应的量化梯度，表示第m个本地客户端在第0轮次实际上传的量化梯度；表示第m个本地客户端在第k-1轮次实际上传的量化梯度；m表示第m个本地客户端。

5.根据权利要求2所述的针对联邦学习通信开销的优化处理方法，其特征在于，所述惰性梯度聚合模型对应的公式(2)如下：

式中，表示第m个本地客户端在第k轮次用目标量化等级去量化一个梯度得到的一个量化梯度；表示第m个本地客户端在第k-1轮次实际使用的量化梯度去量化一个梯度得到的一个真实梯度；用于衡量第m个本地客户端第k轮次更新量的差值；表示梯度范围阈值，θ是全局模型的参数；D表示总共的轮次；表示真实梯度和量化梯度的差值；表示量化后的量化梯度与原始梯度的差距；ξ_d和α是两个超参数，其中ξ_d为量化梯度的惩罚项。

6.一种针对联邦学习通信开销的优化处理方法，应用于本地客户端，其特征在于，包括：

获取中心服务器分发的初始全局模型；

基于预设的自适应梯度量化模型确定当前轮次的目标量化等级，并基于所述目标量化等级对当前轮次待上传的梯度进行量化，得到当前轮次对应的量化梯度；

将所述当前轮次对应的量化梯度上传到中心服务器，以在所述中心服务器中实现对所述量化梯度的聚合处理。

7.一种针对联邦学习通信开销的优化处理装置，其特征在于，包括：

量化等级自适应确定单元，用于将初始全局模型分发到本地客户端，并获得所述本地客户端基于预设的自适应梯度量化模型得到的当前轮次的目标量化等级；所述目标量化等级用于对所述本地客户端在当前轮次上传的梯度进行量化；

惰性梯度聚合处理单元，用于基于预设的惰性梯度聚合模型，确定是否获取所述本地客户端在当前轮次对应的量化梯度；其中，所述量化梯度是所述本地客户端基于所述目标量化等级对当前轮次上传的梯度进行量化得到的；

量化梯度聚合处理单元，用于对所述量化梯度进行聚合处理，并根据聚合结果更新所述初始全局模型，得到下一轮次对应的目标全局模型。