[发明专利]神经网络模型的分布式训练方法、装置及电子设备

说明书

本发明提供了一种神经网络模型的分布式训练方法、装置及电子设备，该方法由分布式计算系统执行，包括：从分布式计算系统确定出第一数量的GPU作为第一目标GPU；基于训练样本集，通过第一目标GPU对初始神经网络模型进行迭代训练，直至达到预设的第一迭代次数，得到中间神经网络模型；从分布式计算系统确定出第二数量的GPU作为第二目标GPU；通过第二目标GPU对中间神经网络模型进行迭代训练，直至达到预设的第二迭代次数，得到最终神经网络模型；其中，第二数量大于第一数量，和/或，第二目标GPU单次迭代处理的训练样本数量大于第一目标GPU单次迭代处理的训练样本数量。本发明缩短神经网络模型训练时间的同时，使训练后的神经网络模型精度丢失较少。

技术领域

本发明涉及深度学习技术领域，尤其是涉及一种神经网络模型的分布式训练方法、装置及电子设备。

背景技术

随着深度学习技术的发展，深度学习广泛应用于计算机视觉，语音识别，自动驾驶等领域，这些应用产生越来越多的训练数据，更大的训练数据集大大增加了神经网络模型的训练时间。为了尽可能地缩短神经网络模型的训练时间，大多数研究人员提出了分布式同步Stochastic Gradient Descent(SGD)训练方法对神经网络模型进行分布式训练，即在神经网络模型训练过程中同时使用多个GPU大批量处理训练样本，分布式训练方式为加速训练过程的收敛提供了一个潜在的解决方案。然而，基于分布式同步SGD训练方法也带来了一个严重的问题：在训练过程中，batchsize(即单次迭代处理的训练样本数量)越大，神经网络模型的精度丢失越严重。因此，目前对于神经网络模型的大批量分布式训练方式，还存在由于batchsize过大导致训练后的神经网络模型精度丢失较多的问题。

发明内容

有鉴于此，本发明的目的在于提供一种神经网络模型的分布式训练方法、装置及电子设备，能够在缩短神经网络模型的训练时间的同时，使训练后的神经网络模型的精度丢失较少。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种神经网络模型的分布式训练方法，所述方法由分布式计算系统执行，所述分布式计算系统包括多个GPU，所述方法包括：从所述分布式计算系统确定出第一数量的GPU作为第一目标GPU；基于训练样本集，通过所述第一目标GPU对初始神经网络模型进行迭代训练，直至达到预设的第一迭代次数，得到中间神经网络模型；从所述分布式计算系统确定出第二数量的GPU作为第二目标GPU；通过所述第二目标GPU对所述中间神经网络模型进行迭代训练，直至达到预设的第二迭代次数，得到最终神经网络模型；其中，所述第二数量大于所述第一数量，和/或，所述第二目标GPU单次迭代处理的训练样本数量大于所述第一目标GPU单次迭代处理的训练样本数量。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，基于训练样本集，通过所述第一目标GPU对所述初始神经网络模型进行迭代训练，直至达到预设的第一迭代次数的步骤，包括：在对所述初始神经网络模型进行迭代训练时，采用所述第一目标GPU对所述训练样本集进行数据并行处理，在预设迭代次数内将所述初始神经网络模型的初始学习率调整至预设的最大学习率；其中所述预设迭代次数小于所述第一迭代次数；继续对所述初始神经网络模型进行迭代训练，并使所述初始神经网络模型在迭代训练中保持所述预设的最大学习率不变，直至达到预设的第一迭代次数。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述通过所述第二目标GPU对所述中间神经网络模型进行迭代训练，直至达到预设的第二迭代次数的步骤，包括：根据预设的等效衰减学习率算法确定所述中间神经网络模型的第一学习率；采用第二目标GPU对所述训练样本集进行数据并行处理，并使所述中间神经网络模型基于所述中间神经网络模型的第一学习率和预设的学习率衰减算法进行迭代训练，直至达到预设的第二迭代次数。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述第二目标GPU单次迭代处理的训练样本数量大于所述第一目标GPU单次迭代处理的训练样本数量；