[发明专利]一种梯度数据的同步方法、系统、设备及存储介质

权利要求书

1.一种梯度数据的同步方法，其特征在于，应用于分布式深度学习系统的各个节点中，包括：

获取1个批次的训练样本并进行本地深度学习模型的训练，得到本地的参数梯度；

当自身在未组队状态下接收到任意1个邻居节点的组队请求时，将自身设置为组队状态；

按照预设规则从邻居节点集合中选取出1个邻居节点，判断选取出的所述邻居节点当前是否处于组队状态；

如果否，则将自身设置为组队状态，并向所述邻居节点发起组队请求以使所述邻居节点将所述邻居节点自身设置为组队状态；

如果是，则返回执行所述按照预设规则从邻居节点集合中选取出1个邻居节点的操作；

在将自身设置为组队状态之后，基于本地的参数梯度以及与自身组队的所述邻居节点的参数梯度，进行梯度数据的同步；

在进行梯度数据的同步之后将自身恢复为未组队状态，并返回执行所述获取1个批次的训练样本并进行本地深度学习模型的训练的操作，直至模型训练结束；

其中，对于任意1个节点，在得到本地的参数梯度之后，均会执行所述按照预设规则从邻居节点集合中选取出1个邻居节点的操作，同时，对于任意1个节点而言，该节点得到本地的参数梯度之后，如果自身在未组队状态下接收到任意1个邻居节点的组队请求时，则直接将自身设置为组队状态，使得自身与发起组队请求的该邻居节点组队成功。

2.根据权利要求1所述的梯度数据的同步方法，其特征在于，所述按照预设规则从邻居节点集合中选取出1个邻居节点，判断选取出的所述邻居节点当前是否处于组队状态，包括：

使用随机数生成器生成K个互不相同的随机数；其中，K表示的是本节点的邻居节点总数量；

设定K个随机数各自对应的邻居节点，且任意两个随机数对应的邻居节点互不相同；

按照从第1个随机数至第K个随机数的循环选取规则，进行随机数的选定，且每次选定1个随机数之后，将选定的随机数对应的邻居节点作为本次选取出的1个邻居节点，判断选取出的所述邻居节点当前是否处于组队状态。

3.根据权利要求2所述的梯度数据的同步方法，其特征在于，所述设定K个随机数各自对应的邻居节点，包括：

针对任意1个随机数，将编号与该随机数的数值相同的邻居节点，作为设定的对应于该随机数的邻居节点；

其中，K个随机数的取值均为正整数，且最小值为1，最大值为K，K个邻居节点的编号为1至K。

4.根据权利要求1所述的梯度数据的同步方法，其特征在于，所述按照预设规则从邻居节点集合中选取出1个邻居节点，判断选取出的所述邻居节点当前是否处于组队状态，包括：

从邻居节点集合中随机选取出1个邻居节点，判断选取出的所述邻居节点当前是否处于组队状态。

5.根据权利要求1所述的梯度数据的同步方法，其特征在于，所述基于本地的参数梯度以及与自身组队的所述邻居节点的参数梯度，进行梯度数据的同步，包括：

基于本地的参数梯度以及与自身组队的所述邻居节点的参数梯度，通过梯度平均的方式进行梯度数据的同步。

6.根据权利要求1所述的梯度数据的同步方法，其特征在于，所述将自身设置为组队状态，包括：

通过修改自身的组队标志位，并将队友节点编号设置为与自身组队的邻居节点的ID，以将自身设置为组队状态。

7.根据权利要求6所述的梯度数据的同步方法，其特征在于，所述判断选取出的所述邻居节点当前是否处于组队状态，包括：

通过选取出的所述邻居节点的组队标志位，判断选取出的所述邻居节点当前是否处于组队状态。

8.根据权利要求1所述的梯度数据的同步方法，其特征在于，所述模型训练结束的触发条件为：

本地深度学习模型收敛，和/或进行本地深度学习模型的训练次数达到了设定的次数阈值。

9.根据权利要求1所述的梯度数据的同步方法，其特征在于，还包括：

当失去与任意1个邻居节点的通信连接时，输出故障提示信息。