[发明专利]一种分布式训练方法、梯度通信方法、装置以及计算设备

权利要求书

1.一种梯度通信方法，应用于深度神经网络的分布式训练框架中，所述分布式计算框架包括多个计算节点，并在每个计算节点上执行如下步骤：

在每个迭代步中，从训练数据集中获取训练数据子集，计算所述深度神经网络的网络参数在所述训练数据子集上的梯度，作为本地梯度；

采用稀疏通信和密集通信交替的方式，与其他计算节点交换彼此的本地梯度，其中，稀疏通信是指对本地梯度进行稀疏化处理后与其他计算节点进行梯度交换的通信方式，密集通信是指未对本地梯度进行稀疏化处理直接与其他计算节点进行梯度交换的通信方式，在稀疏通信方式下，与其他计算节点交换彼此的重要梯度，重要梯度是梯度值大于预设阈值的本地梯度，在密集通信方式下，与其他计算节点交换彼此的全部本地梯度。

2.如权利要求1所述的方法，其中，所述稀疏通信和密集通信交替的方式包括：执行预定次数的稀疏通信后，执行一次密集通信。

3.如权利要求1或2所述的方法，其中，在与其他计算节点交换彼此的重要梯度的步骤之前，还包括：对所述深度神经网络的每一网络层，从该网络层对应的本地梯度中按照梯度值从大到小的顺序，选取预定数目个本地梯度作为重要梯度。

4.如权利要求1至3中任一所述的方法，其中，所述与其他计算节点交换彼此的重要梯度，包括：

对所述深度神经网络的每一网络层，基于该网络层的重要梯度，对该网络层的梯度张量进行稀疏化处理，形成稀疏梯度张量，其中所述梯度张量为该网络层的所有本地梯度构成的张量；

对所述稀疏梯度张量进行编码后，发送到其他计算节点。

5.如权利要求4所述的方法，所述对该网络层的梯度张量进行稀疏化处理，包括：将所述梯度张量中除重要梯度之外的本地梯度置零。

6.如权利要求4或5所述的方法，其中，所述编码为游程编码。

7.如权利要求1至6中任一项所述的方法，其中，在与其他计算节点交换彼此的本地梯度的步骤之前，还包括：将本地梯度更新为本地梯度与上一次迭代的延迟梯度之和。

8.如权利要求1至7中任一项所述的方法，其中，在与其他计算节点交换彼此的全部本地梯度的步骤之前，还包括：将本次迭代的延迟梯度置零。

9.如权利要求1至8中任一项所述所述的方法，其中，在与其他计算节点交换彼此的重要梯度的步骤之前，还包括：将除了重要梯度之外的本地梯度存储为本次迭代的延迟梯度。

10.如权利要求1至9中任一项所述的方法，其中，所述与其他计算节点交换彼此的本地梯度，包括：

采用All-reduce的方式与其他计算节点进行通信，交换彼此的本地梯度。

11.一种分布式训练方法，应用于深度神经网络的分布式训练框架中，所述分布式计算框架包括多个计算节点，并在每个计算节点上执行如下步骤：

在每个迭代步中，从训练数据集中获取批量训练数据子集，计算所述深度神经网络的网络参数在所述训练数据子集上的梯度，作为本地梯度；

采用稀疏通信和密集通信交替的方式，与其他计算节点交换彼此的本地梯度，其中，稀疏通信是指对本地梯度进行稀疏化处理后与其他计算节点进行梯度交换的通信方式，密集通信是指未对本地梯度进行稀疏化处理直接与其他计算节点进行梯度交换的通信方式，在稀疏通信方式下，与其他计算节点交换彼此的重要梯度，重要梯度是梯度值大于预设阈值的本地梯度，在密集通信方式下，与其他计算节点交换彼此的全部本地梯度；

计算所有计算节点在当前迭代步中所交换的本地梯度的梯度平均值，基于所述梯度平均值对所述深度神经网络的网络参数进行更新。

12.如权利要求11所述的方法，其中，在与其他计算节点交换彼此的本地梯度的步骤之前，还包括：将本地梯度更新为本地梯度与上一次迭代的延迟梯度之和。