[发明专利]一种梯度传输方法、梯度传输装置及参数服务器

权利要求书

1.一种梯度传输方法，其特征在于，应用于计算节点，包括：

计算所述计算节点的当前节点梯度与所述计算节点的旧节点梯度之间的变化量，其中，所述旧节点梯度为所述计算节点在迭代计算梯度过程中上一次计算得到的节点梯度；

对所述变化量进行压缩得到压缩变化量；

将所述压缩变化量发送至参数服务器，以指示所述参数服务器根据各个计算节点发送的压缩变化量和存储在所述参数服务器上的第一旧总梯度计算得到当前总梯度，其中，所述第一旧总梯度为所述参数服务器在迭代计算梯度过程中上一次计算得到的总梯度。

2.根据权利要求1所述的梯度传输方法，其特征在于，所述计算所述计算节点的当前节点梯度与所述计算节点的旧节点梯度之间的变化量，包括：

分别计算当前节点梯度中各个维度的梯度分量与旧节点梯度中对应的各个维度的梯度分量之间的变化量；

相应地，所述对所述变化量进行压缩得到压缩变化量，包括：

根据存储在所述计算节点上的第二旧总梯度计算压缩阈值，其中，所述第二旧总梯度为所述计算节点在迭代计算梯度过程中上一次计算得到的总梯度；

将各个维度的梯度分量的变化量分别与所述压缩阈值进行比较；

将目标维度的梯度分量的变化量保持不变，将非目标维度的梯度分量的变化量设置为0，得到压缩变化量，其中，所述目标维度为梯度分量的变化量大于所述压缩阈值的维度。

3.根据权利要求2所述的梯度传输方法，其特征在于，所述根据存储在所述计算节点上的第二旧总梯度计算压缩阈值，包括：

根据预设的阈值计算公式计算所述压缩阈值，所述阈值计算公式为其中H为压缩阈值，λ为预设的超参数，g₀为第二旧总梯度，D为第二旧总梯度的维度数。

4.根据权利要求1所述的梯度传输方法，其特征在于，所述对所述变化量进行压缩得到压缩变化量之后，还包括：

根据所述压缩变化量和所述旧节点梯度更新所述当前节点梯度，其中，更新后的当前节点梯度作为所述计算节点在迭代计算梯度过程中下一次计算得到的节点梯度对应的旧节点梯度。

5.根据权利要求1所述的梯度传输方法，其特征在于，所述将所述压缩变化量发送至参数服务器之后，还包括：

接收所述参数服务器发送的总梯度变化量；

根据所述总梯度变化量更新所述计算节点的模型参数。

6.根据权利要求5所述的梯度传输方法，其特征在于，所述根据所述总梯度变化量更新所述计算节点的模型参数，包括：

根据所述总梯度变化量和存储在所述计算节点上的第二旧总梯度计算得到所述当前总梯度；

根据所述当前总梯度更新所述计算节点的模型参数。

7.一种梯度传输方法，其特征在于，应用于参数服务器，包括：

接收各个计算节点发送的压缩变化量，其中，压缩变化量由计算节点的当前节点梯度与旧节点梯度之间的变化量经过压缩得到，旧节点梯度为计算节点在迭代计算梯度过程中上一次计算得到的节点梯度；

根据各个压缩变化量计算得到总梯度变化量；

根据所述总梯度变化量和第一旧总梯度计算得到当前总梯度，其中，所述第一旧总梯度为所述参数服务器在迭代计算梯度过程中上一次计算得到的总梯度。

8.一种梯度传输装置，其特征在于，应用于计算节点，包括：

变化量计算单元，用于计算所述计算节点的当前节点梯度与所述计算节点的旧节点梯度之间的变化量，其中，所述旧节点梯度为所述计算节点在迭代计算梯度过程中上一次计算得到的节点梯度；

变化量压缩单元，用于对所述变化量进行压缩得到压缩变化量；

变化量发送单元，用于将所述压缩变化量发送至参数服务器，以指示所述参数服务器根据各个计算节点发送的压缩变化量和存储在所述参数服务器上的第一旧总梯度计算得到当前总梯度，其中，所述第一旧总梯度为所述参数服务器在迭代计算梯度过程中上一次计算得到的总梯度。