[发明专利]一种分布式训练中梯度同步方法及装置

说明书

本申请提供一种分布式训练中梯度同步方法及装置，其中所述分布式训练中梯度同步方法包括：对分布式训练集群中每个训练节点上的训练数据进行分组，获得每个训练节点上的多个子训练数据，其中，分布式训练集群中的训练节点成环形连接；计算所述分布式训练集群的训练节点中每个子训练数据的子训练累积梯度；根据所述子训练累积梯度获得与所述子训练累积梯度对应的子训练累加梯度；将所述子训练累加梯度同步至所述分布式训练集群的每个训练节点。通过累积所述子训练数据的梯度，减少累积梯度的同步次数，减少通讯频率，加快模型训练的速度。

技术领域

本申请涉及计算机技术领域，特别涉及一种分布式训练中梯度同步方法及装置、计算设备、计算机可读存储介质和芯片。

背景技术

目前，随着计算机技术的迅猛发展，深度学习技术也得到了快速进步，随着深度学习技术的深入，研发出越来越复杂的算法，这些算法需要大量的数据并耗费大量的时间才能有效的完成训练，因此研发出了分布式训练。

在深度学习的模型优化中，需要使用梯度下降的方法计算梯度找到最小的损失函数，以此来训练模型，加快模型的收敛。在目前的分布式训练中，需要每完成一次训练都要进行梯度信息的传递和梯度信息的同步，以便于将分布式训练节点上的梯度共享，找到最小损失函数，因此在模型训练时会因为高频率的梯度信息传递和传递信息量大的问题导致模型训练时间长、跨度大，严重延缓了模型训练的速度。

因此，如何改善上述问题，就成为目前亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供了一种分布式训练中梯度同步方法及装置、计算设备、计算机可读存储介质和芯片，以解决现有技术中存在的技术缺陷。

根据本申请实施例的第一方面，提供了一种分布式训练中梯度同步方法，包括：

对分布式训练集群中每个训练节点上的训练数据进行分组，获得每个训练节点上的多个子训练数据，其中，分布式训练集群中的训练节点成环形连接；

计算所述分布式训练集群的训练节点中每个子训练数据的子训练累积梯度；

根据所述子训练累积梯度获得与所述子训练累积梯度对应的子训练累加梯度；

将所述子训练累加梯度同步至所述分布式训练集群的每个训练节点。

根据本申请实施例的第二方面，提供了一种分布式训练中梯度同步装置，包括：

分组模块，被配置为对分布式训练集群中每个训练节点上的训练数据进行分组，获得每个训练节点上的多个子训练数据，其中，分布式训练集群中的训练节点成环形连接；

计算模块，被配置为计算所述分布式训练集群的训练节点中每个子训练数据的子训练累积梯度；

累加模块，被配置为根据所述子训练累积梯度获得与所述子训练累积梯度对应的子训练累加梯度；

同步模块，被配置为将所述子训练累加梯度同步至所述分布式训练集群的每个训练节点。

根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述分布式训练中梯度同步方法的步骤。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述分布式训练中梯度同步方法的步骤。

根据本申请实施例的第五方面，提供了一种芯片，其存储有计算机指令，该指令被芯片执行时实现所述分布式训练中梯度同步方法的步骤。