[发明专利]用于机器学习的单步延迟随机梯度下降训练方法

说明书

本发明公开了一种用于机器学习的单步延迟随机梯度下降训练方法，包括以下步骤：定义全局更新函数和本地更新函数，在分布式训练模式下，更新函数在参数服务器中运行，在单节点训练模式下，更新函数在计算节点中运行；调整计算节点中计算与通信操作的执行顺序，在OD‑SGD训练模式下，计算节点在执行梯度发送操作的同时进行本地权重的更新操作；引入新的参数变量，以打破原有的数据依赖关系；执行分布式训练任务，设置预热阶段的迭代次数、额外指定用于本地更新的算法和对应的超参数。本发明可提高分布式深度学习训练过程中计算资源的利用率，同时在保证训练精度的前提下，提升了分布式训练速度，缩短神经网络模型的训练时间。

技术领域

本发明涉及人工智能领域，尤其涉及一种分布式训练的优化方法。

背景技术

深度学习最近在计算机视觉、自然语言处理、自动驾驶、智能医疗等各个领域都取得了很大的成功。深度学习的兴起主要源于两个条件，一是通用和定制化硬件加速器(GPU，NPU，TPU等)的出现，该类硬件加速器在计算能力方面带来了巨大的进步，二是如ImageNet和CIFAR这样的通用训练数据集的开源。然而，随着深度神经网络和数据集规模的快速增长，用于训练的机器的计算能力成为瓶颈，需要几天或几周才能完成一个大型神经网络模型的训练，例如，基于ImageNet数据集，使用8个P100 GPU对ResNet-50进行90轮的训练需要21小时，这使得网络模型开发过程中无法进行实时交互。在这种情况下，分布式训练成为普遍的做法，它极大地提高了训练效率，提升了神经网络模型的研发速度。

随机梯度下降(SGD)是广泛用于分布式训练的优化方法。对于相同大小的训练数据，可以通过增加训练节点并利用数据并行性来显着减少前向-后向过程中的计算时间。在训练阶段，可以选择同步SGD算法(SSGD)或异步SGD算法(ASGD)。对于SSGD，每个计算节点在完成本地梯度的计算之后，会将梯度信息进行传递并用于全局参数的更新。SSGD可以获得良好的收敛速度和收敛精度，但由于全局同步栅栏的存在，各计算节点在得到更新后的全局参数之前，无法继续执行后续的训练任务，极大地降低了分布式的训练速度。

解决同步栅栏问题的一种方法是引入额外的备份服务器，该解决方案的缺点是需要冗余资源，并且还假设大多数计算节点的训练速度是相同的。对于一般开发人员而言，额外的计算资源不是最佳选择。为了解决SSGD的不足，研究者们提出了ASGD，它着重于训练速度的提高并使用延时的信息进行计算。尽管ASGD通过减轻SSGD中的同步开销而获得了更好的训练性能，但由于利用延时的梯度信息进行训练，它的收敛精度往往低于SSGD。

发明内容

本发明的目的在于：考虑到SSGD算法的收敛精度高但训练速度慢，而ASGD算法的训练速度快但收敛精度低，通过结合SSGD和ASGD各自的优势，在计算节点执行梯度发送操作的同时利用本地梯度进行本地更新操作，在取回更新的全局参数之前便可以利用更新完的本地权重进行下一次迭代训练任务，从而打破SSGD中的同步机制，而取回更新后的全局参数会用于下一次的本地更新操作，从而在保证训练精度的同时有效提升分布式的训练速度。

数据并行方法广泛用于分布式深度学习训练中，其中数据集根据计算节点的数量进行划分。假设节点数为M，则每个计算节点在一次迭代训练任务中负责1/M的数据集。在数据并行性方法中，每个计算节点中存有一个神经网络模型的副本，利用分配到的数据子集进行梯度训练，完成梯度的计算后进行梯度信息传递，并利用更新后的全局权重进行后续的训练任务，SSGD和ASGD均可以在数据并行应用。与数据并行不同，模型并行将神经网络切分为不同的子图并分配到不同的计算节点进行训练，每个计算节点负责网络模型一部分参数的维护。虽然模型并行可用于训练规模非常大的网络模型，但模型并行无法对计算资源进行充分的利用，并且如何进行网络模型的有效切分需要程序员手动实现。因此，分布式训练通常采用数据并行的方式。

本发明提供了用于机器学习的单步延迟随机梯度下降训练方法，包括以下步骤：