[发明专利]一种通信并行的分布式随机梯度下降的方法、系统及装置

说明书

本发明公开了一种通信并行的分布式随机梯度下降的方法、系统及装置，该方法包括：读取训练数据；按批次将训练数据输入到本地模型进行前向传播；计算损失值；反向传播计算参数的本地梯度；对本地模型参数进行更新并发送到参数服务器；接收参数服务器聚合平均后返回的最终模型。该系统包括：计算节点和参数服务器。该装置包括存储器以及用于执行上述通信并行的分布式随机梯度下降的方法的处理器。通过使用本发明，既减少了通信开销，又能减少训练所需时间。本发明作为一种通信并行的分布式随机梯度下降的方法、系统及装置，可广泛应用于模型训练领域。

技术领域

本发明涉及模型训练领域，尤其涉及一种通信并行的分布式随机梯度下降的方法、系统及装置。

背景技术

近年来，随着大数据和高速计算资源的快速发展，深度学习在人工智能许多领域都取得了突破性的发展和广泛应用，比如图像识别、语音识别以及自然语言处理等等。为了对模型进行更新训练，深度学习的训练通常使用小批量随机梯度下降算法(mini-batchSGD)。但是，随着数据集的规模越来越大以及神经网络的模型越来越复杂，模型训练时间也显著增加，成为深度学习发展的瓶颈。目前主要采用同步随机梯度下降算法和局部随机梯度下降算法进行深度学习的训练，在同步随机梯度下降算法中，每轮批次都需要进行梯度的通信，而且某些速度较慢的计算节点会影响到整体的训练速度，会产生木桶效应，率先训练完的节点只能停下来等待。由于分布式深度学习需要频繁地对梯度或参数等信息进行通信，当数据集越大、通信时间越多、计算集群规模越大时，通信开销会越来越大，容易成为分布式训练的性能瓶颈，严重影响系统的扩展性；局部随机梯度下降算法虽然通过降低通信频率，改善了同步随机梯度下降算法中通信开销大的问题。但是通信频率的降低，意味着丢失的信息越多，会导致收敛性能下降，因此可能需要更多的训练迭代才能达到和同步随机梯度下降算法相同的模型精度，这最终可能会减慢训练速度。

发明内容

为了解决上述技术问题，本发明的目的是提供一种通信并行的分布式随机梯度下降的方法、系统及装置，将计算节点的训练过程和通信过程并行进行，既减少了通信开销，又能减少训练所需时间。

本发明所采用的第一技术方案是：一种通信并行的分布式随机梯度下降的方法，包括以下步骤：

S1、读取本地的训练数据；

S2、按批次将训练数据输入到本地模型进行前向传播，得到本地模型的实际输出；

S3、根据实际输出和预设的期望输出得到损失值；

S4、基于损失值对本地模型进行反向传播，逐层计算得到参数的本地梯度；

S5、根据小批量随机梯度下降算法和本地梯度对本地模型参数进行更新，得到更新后的本地模型；

S6、新建子线程与参数服务器进行通信并向参数服务器发送更新后的本地模型；

S7、根据更新后的本地模型进行模型同步并返回步骤S2，直至迭代训练达到预设次数，接收参数服务器聚合平均后返回的最终模型，完成训练。

进一步，还包括参数服务器工作步骤：

发送初始模型副本；

接收计算节点发送的本地模型并根据本地模型参数计算平均后的同步模型参数；

将同步模型参数发送给计算节点。

进一步，所述按批次将训练数据输入到本地模型进行前向传播还包括判断当前批次是否为第一次迭代训练，判断到当前批次为第一次迭代训练，接受参数服务器发送的初始模型副本并作为本地模型参数。

进一步，所述对本地模型参数使用小批量随机梯度下降算法进行更新，得到更新后的本地模型这一步骤，其具体包括：

判断到当前批次是第一次迭代训练，根据本地梯度和小批量随机梯度下降算法对本地模型参数进行更新，得到更新后的本地模型；