[发明专利]一种基于AllReduce分布式训练梯度压缩加速方法

说明书

本发明涉及一种基于AllReduce分布式训练梯度压缩加速方法，针对Intra‑node将FP32转成FP16,并针对Inter‑node使用EF‑SGD方法压缩梯度，相对于稀疏方法损失降低，并且，通过AllReduce架构相对于Params Server通信结构消除了带宽瓶颈。

技术领域

本发明涉及深度学习技术领域，具体涉及一种基于AllReduce分布式训练梯度压缩加速方法。

背景技术

现有的基于参数服务器方式的中心化分布式训练方法，或者基于稀疏方法选取部分梯度值中存在一些问题，比如，基于稀疏的方法对梯度信息损失比较大；在intra-node和inter-node使用相同的梯度压缩方法，梯度信息损失进一步加大；Params Server通信结构相对于AllReduce本身具有带宽瓶颈。

发明内容

本发明提供一种基于AllReduce分布式训练梯度压缩加速方法，能够解决训练大型模型参数同步通信带宽问题。

本发明解决上述技术问题的技术方案如下：

根据本发明实施例的一个方面，提供一种基于AllReduce分布式训练梯度压缩加速方法，包括：采用AllReduce分布式深度梯度压缩训练架构，所述AllReduce分布式深度梯度压缩训练架构中，不存在参数服务器，工作机之间形成环形闭环传递路径，GPU之间传递压缩后梯度；以及将节点内压缩模块中将梯度从FP32转成FP16；并使用误差反馈随机梯度下降算法压缩梯度。

优选地，所述误差反馈随机梯度下降算法包括：针对每一次训练进行解压缩得到值p_t。

优选地，所述误差反馈随机梯度下降算法还包括：使用梯度压缩算法对值p_t进行梯度压缩。

优选地，值p_t为p_t＝ηg_t+e_t，其中，g_t为随机梯度下降值，e_t为偏差值。

优选地，e_t初始值为0。

优选地，所述梯度压缩实施为：采用topk算法，取梯度前k个值p_t进行数据整合。

优选地，所述误差反馈随机梯度下降算法还包括：更新参数：x_t+1＝x_t-Δ_t,e_t+1＝p_t-Δ_t。

据本发明实施例的另一个方面，提供一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行前述基于AllReduce分布式训练梯度压缩加速方法。

从而，针对Intra-node将FP32转成FP16,针对Inter-node使用EF-SGD方法压缩梯度，相对于稀疏方法损失降低。并且，AllReduce架构相对于Params Server通信结构消除了带宽瓶颈。

附图说明

图1为Params Server结构的分布式深度梯度压缩训练架构示意图；

图2为本发明基于AllReduce的分布式深度梯度压缩训练架构；

图3为本发明实施例提供的ring allreduce架构示意图；

图4为本发明实施例提供的节点连接示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。