[发明专利]神经网络模型的分布式训练方法、装置及电子设备

权利要求书

1.一种神经网络模型的分布式训练方法，其特征在于，所述方法由分布式计算系统执行，所述分布式计算系统包括多个GPU，所述方法包括：

从所述分布式计算系统确定出第一数量的GPU作为第一目标GPU；

基于训练样本集，通过所述第一目标GPU对初始神经网络模型进行迭代训练，直至达到预设的第一迭代次数，得到中间神经网络模型；

从所述分布式计算系统确定出第二数量的GPU作为第二目标GPU；

通过所述第二目标GPU对所述中间神经网络模型进行迭代训练，直至达到预设的第二迭代次数，得到最终神经网络模型；其中，所述第二数量大于所述第一数量，和/或，所述第二目标GPU单次迭代处理的训练样本数量大于所述第一目标GPU单次迭代处理的训练样本数量。

2.根据权利要求1所述的方法，其特征在于，基于训练样本集，通过所述第一目标GPU对所述初始神经网络模型进行迭代训练，直至达到预设的第一迭代次数的步骤，包括：

在对所述初始神经网络模型进行迭代训练时，采用所述第一目标GPU对所述训练样本集进行数据并行处理，在预设迭代次数内将所述初始神经网络模型的初始学习率调整至预设的最大学习率；其中所述预设迭代次数小于所述第一迭代次数；

继续对所述初始神经网络模型进行迭代训练，并使所述初始神经网络模型在迭代训练中保持所述预设的最大学习率不变，直至达到预设的第一迭代次数。

3.根据权利要求1所述的方法，其特征在于，所述通过所述第二目标GPU对所述中间神经网络模型进行迭代训练，直至达到预设的第二迭代次数的步骤，包括：

根据预设的等效衰减学习率算法确定所述中间神经网络模型的第一学习率；

采用第二目标GPU对所述训练样本集进行数据并行处理，并使所述中间神经网络模型基于所述中间神经网络模型的第一学习率和预设的学习率衰减算法进行迭代训练，直至达到预设的第二迭代次数。

4.根据权利要求3所述的方法，其特征在于，所述第二目标GPU单次迭代处理的训练样本数量大于所述第一目标GPU单次迭代处理的训练样本数量；

所述根据预设的等效衰减学习率算法确定所述中间神经网络模型的第一学习率的步骤，包括：

根据预设有效学习率计算算式及所述第二目标GPU单次迭代处理的训练样本数量与所述第一目标GPU单次迭代处理的训练样本数量之间的数量关系，确定所述中间神经网络模型的中间学习率；

利用所述预设的学习率衰减算法对所述中间学习率进行衰减，得到第一衰减学习率；

判断所述第一衰减学习率是否大于所述中间神经网络模型预设的最大学习率；

如果否，将所述第一衰减学习率作为所述中间神经网络模型的第一学习率。

5.根据权利要求4所述的方法，其特征在于，所述中间神经网络模型包括带有BN层的卷积层；所述中间神经网络模型的中间学习率包括所述中间神经网络模型各网络层的中间学习率；

所述预设有效学习率计算算式为：

其中，为所述带有BN层的卷积层的有效学习率，η为学习率，α₁和α₂为人为设定的缩放因子，B_t为单次迭代处理的训练样本数量，为第l层网络层的权重的二范数，与所述中间神经网络模型的权重衰减系数成反比。

6.根据权利要求4所述的方法，其特征在于，所述中间神经网络模型包括不带有BN层的全连接层；所述中间神经网络模型的中间学习率包括所述中间神经网络模型各网络层的中间学习率；

所述预设有效学习率计算算式为：

其中，为所述不带有BN层的全连接层的有效学习率，η为学习率，α₁和α₂为人为设定的缩放因子，B_t为单次迭代处理的训练样本数量。