[发明专利]一种分布式训练方法、梯度通信方法、装置以及计算设备

说明书

本发明公开了一种深度神经网络的分布式训练方法、梯度通信方法、装置以及计算设备。方法包括：在每个迭代步中，从训练数据集中获取训练数据子集，计算所述深度神经网络的网络参数在所述训练数据子集上的梯度，作为本地梯度；采用稀疏通信和密集通信交替的方式，与其他计算节点交换彼此的本地梯度，其中，稀疏通信是指对本地梯度进行稀疏化处理后与其他计算节点进行梯度交换的通信方式，密集通信是指未对本地梯度进行稀疏化处理直接与其他计算节点进行梯度交换的通信方式，在稀疏通信方式下，与其他计算节点交换彼此的重要梯度，重要梯度是梯度值大于预设阈值的本地梯度，在密集通信方式下，与其他计算节点交换彼此的全部本地梯度。

技术领域

本发明涉及数据处理技术领域，具体涉及一种深度神经网络的分布式训练方法、梯度通信方法、装置以及计算设备。

背景技术

随着深度神经网络(deep neural networks，DNNs)的规模及训练数据集的日趋变大，导致其训练需要巨大的算能、存储空间、通信带宽和功耗。当前主流DNNs训练平台基于分布式多节点系统，利用并行计算特点，大大加速训练进程。然而，频繁的梯度交换通信增加了传输带宽压力，导致平台扩展能力低和通信时间长等问题。因此，通信时间成为分布式训练发展瓶颈。

梯度压缩作为很有潜力的方法，通过降低通信量来加速分布式训练，其主要有梯度量化和梯度稀疏两种策略。梯度量化通过降低梯度数据位宽，实现梯度数据压缩。梯度稀疏则通过相关评判方法选出重要梯度先进行参数更新，其余不重要梯度也称延迟梯度(或延时梯度)，在本地与上次迭代留下的延迟梯度相累加，且不进行参数更新。

然而，在高稀疏率情况下，一方面，由于梯度信息的缺失和延迟梯度的影响，导致最终模型收敛性能变差，另一方面，由于每次选出用于稀疏通信的重要梯度非常少，这种情况将引起延迟梯度的过度累加，导致梯度爆炸的问题。

因此，如何提供一种不影响模型收敛性能的分布式梯度稀疏通信方法，就成为本领域技术人员亟需解决的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的深度神经网络的分布式训练方法、梯度通信方法、装置以及计算设备。

根据本发明的一个方面，提供了一种深度神经网络的梯度通信方法，应用于深度神经网络的分布式训练框架中，所述分布式计算框架包括多个计算节点，并在每个计算节点上执行如下步骤：

在每个迭代步中，从训练数据集中获取训练数据子集，计算所述深度神经网络的网络参数在所述训练数据子集上的梯度，作为本地梯度；

采用稀疏通信和密集通信交替的方式，与其他计算节点交换彼此的本地梯度，其中，稀疏通信是指对本地梯度进行稀疏化处理后与其他计算节点进行梯度交换的通信方式，密集通信是指未对本地梯度进行稀疏化处理直接与其他计算节点进行梯度交换的通信方式，在稀疏通信方式下，与其他计算节点交换彼此的重要梯度，重要梯度是梯度值大于预设阈值的本地梯度，在密集通信方式下，与其他计算节点交换彼此的全部本地梯度。

可选地，在本发明的梯度通信方法中，所述稀疏通信和密集通信交替的方式包括：执行预定次数的稀疏通信后，执行一次密集通信。

可选地，在本发明的梯度通信方法中，在与其他计算节点交换彼此的重要梯度的步骤之前，还包括：对所述深度神经网络的每一网络层，从该网络层对应的本地梯度中按照梯度值从大到小的顺序，选取预定数目个本地梯度作为重要梯度。

可选地，在本发明的梯度通信方法中，所述与其他计算节点交换彼此的重要梯度，包括：对所述深度神经网络的每一网络层，基于该网络层的重要梯度，对该网络层的梯度张量进行稀疏化处理，形成稀疏梯度张量，其中所述梯度张量为该网络层的所有本地梯度构成的张量；对所述稀疏梯度张量进行编码后，发送到其他计算节点。