[发明专利]神经网络模型的训练方法和相关产品

说明书

本申请实施例公开了一种神经网络模型训练的通信方法和相关产品，该方法包括：第一工作节点对神经网络模型进行多次内层迭代，得到多组本地梯度信息；其中，每组本地梯度信息包含对应的内层迭代中得到的所述神经网络模型的至少一个网络层的本地梯度信息；所述第一工作节点基于所述多组本地梯度信息，得到所述至少一个网络层中的第一网络层的目标融合梯度信息；所述第一工作节点与至少一个第二工作节点进行所述第一网络层的目标融合梯度信息的传输。本申请实施例中，第一工作节点至少一个第二工作节点传输网络层的目标融合梯度信息；可以减少梯度信息的传输次数和总通信量。

技术领域

本申请涉及模型训练领域，尤其涉及一种神经网络模型的训练方法和相关产品。

背景技术

深度学习正在为众多社会领域带来巨大的发展进步，模型训练是其关键环节。模型训练过程中会读取大量的样本数据，进行大量的数学运算，非常耗时。尽管业界在ImageNet数据集上的基准(benchmark)测试中不断取得突破。然而，回归到通用的训练平台中，高效的分布式模型训练方案依旧是一个棘手的实际问题。因此，需要研究更高效的分布式模型训练方案。

发明内容

本申请实施例公开了一种模型训练方法和相关产品。

第一方面，本申请实施例提供了一种神经网络模型的训练方法，该方法包括：第一工作节点对神经网络模型进行多次内层迭代，得到多组本地梯度信息；其中，每组本地梯度信息包含对应的内层迭代中得到的所述神经网络模型的至少一个网络层的本地梯度信息；所述第一工作节点基于所述多组本地梯度信息，得到所述至少一个网络层中的第一网络层的目标融合梯度信息；所述第一工作节点与至少一个第二工作节点进行所述第一网络层的目标融合梯度信息的传输。

所述第一工作节点对所述神经网络模型进行至少一次内层迭代，可得到一组本地梯度信息。一组本地梯度信息可以理解为第一工作节点完成神经网络模型中各网络层的前向计算和反向计算得到的多个网络层的本地梯度信息，可以包括神经网络模型的部分或所有网络层的梯度。

神经网络模型中的一个网络层的目标融合梯度信息可以是通过对多次内层迭代得到的该网络层的多组本地梯度信息融合得到的梯度信息。

本申请实施例中，第一工作节点至少一个第二工作节点传输网络层的目标融合梯度信息；可以减少梯度信息的传输次数和总通信量。

在一个可能的实现方式中，所述第一工作节点基于所述多组本地梯度信息，得到所述至少一个网络层中的第一网络层的目标融合梯度信息包括：所述第一工作节点对所述多组本地梯度信息中分别包括的所述第一网络层的本地梯度信息进行累加处理，得到所述第一网络层的目标融合梯度信息。

在该实现方式中，对多次内层迭代得到的第一网络层的本地梯度信息进行累加处理，得到第一网络层的目标融合梯度信息；可以减少梯度信息的传输次数，提高训练效率。

在一个可能的实现方式中，所述多次内层迭代包括第一内层迭代和在所述第一内层迭代之前进行的至少一次第二内层迭代；所述第一工作节点基于所述多组本地梯度信息，得到所述至少一个网络层中的第一网络层的目标融合梯度信息，包括：所述第一工作节点在进行所述第一内层迭代的过程中，基于所述多组本地梯度信息中分别包含的所述第一网络层的本地梯度信息，得到所述第一网络层的目标融合梯度信息；或者，响应于所述第一工作节点在所述第一内层迭代的过程中得到所述第一网络层的本地梯度信息，基于所述多组本地梯度信息中分别包括的所述第一网络层的本地梯度信息，得到所述第一网络层的目标融合梯度信息。

在该实现方式中，第一工作节点可以并行地执行第一内层迭代和得到第一网络层的目标融合梯度信息的操作，可以提高训练效率。