[发明专利]一种分布式训练中梯度同步方法及装置

说明书

本申请提供一种分布式训练中梯度同步方法及装置，其中所述分布式训练中梯度同步方法包括：对分布式训练集群中每个训练节点上的训练数据进行分组，获得每个训练节点上的多个子训练数据，其中，分布式训练集群中的训练节点成环形连接；计算所述分布式训练集群的训练节点中每个子训练数据的子训练平均梯度；根据所述子训练平均梯度获得与所述子训练平均梯度对应的子训练累加梯度；将所述子训练累加梯度同步至所述分布式训练集群的每个训练节点。在每个训练节点上将计算不同批量大小训练数据的平均梯度，可以保证梯度的震荡范围较小，能更准确的确定梯度下降的方向，加快模型的训练速度，提高模型训练的效率。

技术领域

本申请涉及计算机技术领域，特别涉及一种分布式训练中梯度同步方法及装置、计算设备、计算机可读存储介质和芯片。

背景技术

目前，随着计算机技术的迅猛发展，深度学习技术也得到了快速进步，随着深度学习技术的深入，研发出越来越复杂的算法，这些算法需要大量的数据并耗费大量的时间才能有效的完成训练，因此研发出了分布式训练。

在深度学习的模型优化中，需要使用梯度下降的方法计算梯度找到最小的损失函数，以此来训练模型，加快模型的收敛。在目前的分布式训练中，需要每完成一次训练都要进行梯度信息的传递和梯度信息的同步，以便于将分布式训练节点上的梯度共享，找到最小损失函数，因此在模型训练时会因为高频率的梯度信息传递和传递信息量大的问题导致模型训练时间长、跨度大，严重延缓了模型训练的速度。

因此，如何改善上述问题，就成为目前亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供了一种分布式训练中梯度同步方法及装置、计算设备、计算机可读存储介质和芯片，以解决现有技术中存在的技术缺陷。

根据本申请实施例的第一方面，提供了一种分布式训练中梯度同步方法，包括：

对分布式训练集群中每个训练节点上的训练数据进行分组，获得每个训练节点上的多个子训练数据，其中，分布式训练集群中的训练节点成环形连接；

计算所述分布式训练集群的训练节点中每个子训练数据的子训练平均梯度；

根据所述子训练平均梯度获得与所述子训练平均梯度对应的子训练累加梯度；

将所述子训练累加梯度同步至所述分布式训练集群的每个训练节点。

可选的，对分布式训练集群中每个训练节点上的训练数据进行分组，获得每个训练节点上的多个子训练数据，包括：

根据分布式训练集群中训练节点的数量对每个训练节点上的训练数据进行分组，获得每个训练节点上的多个子训练数据，其中，获得的子训练数据的数量与所述分布式训练集群中训练节点的数量相等。

可选的，计算所述分布式训练集群的训练节点中每个子训练数据的子训练平均梯度，包括：

获取预设的累积梯度步数；

计算所述累积梯度步数内所述子训练数据的子训练梯度；

将所述累积梯度步数内的子训练梯度累积，获得子训练累积梯度；

根据所述子训练累积梯度和所述累积梯度步数，获取子训练平均梯度。

可选的，根据所述子训练平均梯度获得与所述子训练平均梯度对应的子训练累加梯度，包括：

将所述子训练平均梯度在所述分布式训练集群的每个训练节点中进行累加，获取与所述子训练平均梯度对应的子训练累加梯度。

可选的，将所述子训练平均梯度在所述分布式训练集群的每个训练节点中进行累加，获取与所述子训练平均梯度对应的子训练累加梯度，包括：