[发明专利]一种基于层稀疏化的分布式深度学习训练方法及系统

说明书

本发明公开了一种基于层稀疏化的分布式深度学习训练方法及系统，属于分布式训练通信稀疏化技术领域，包括如下步骤：根据神经网络模型收敛特性，得到归一化窗口中心列表；利用层稀疏化方法和归一化窗口中心列表，得到层传输列表；根据层传输列表进行基于层稀疏化的分布式深度学习训练，得到权重更新参数，完成基于层稀疏化的分布式深度学习训练；并对应设置了基于层稀疏化的分布式深度学习训练方法的系统，本发明解决了现有的训练框架仅在网络层内部稀疏化的问题，有效提升了稀疏化程度，降低了通信量。

技术领域

本发明属于分布式训练通信稀疏化技术领域，尤其涉及一种基于层稀疏化的分布式深度学习训练方法及系统。

背景技术

近年来，随着深度学习不断发展，模型变得更大更复杂，在单机上训练这些复杂的大模型非常耗时。为了减少训练耗时，提出了分布式训练的方法来加速模型训练。具体来说，分布式训练主要包括模型并行和数据并行两种方法。其中模型并行由于将模型参数拆分给不同的计算节点，再加上不同层次的参数大小不平衡和节点间计算依赖性高等问题，加速较为困难。而数据并行在每个计算结点保持完整模型的同时将训练数据集进行拆分。在每一次迭代中，每个计算结点使用不同的训练数据计算局部梯度，再进行传递交换。

每个计算节点在进行局部梯度传递时，由于参数量大，网络带宽受限等原因，限制了分布式的扩大。为了解决这一瓶颈，提出了稀疏化和量化两种不同的降低通信量的方法。其中，稀疏化方法旨在减少每次迭代中传输的元素的数量，将绝大多数的元素置零，只传递最有价值的梯度来更新参数，从而保证训练的收敛性。

在一种不带通信压缩的基础同步分布式训练框架SSGD(Synchronous StochasticGradient Descent)中，每个计算结点必须等待所有结点完成当前迭代中所有参数的传输，没有进行压缩，过大的通信量造成的通信负载成为其最大的瓶颈，其在实际应用中，在计算资源有限的情况下，只能应用于一些较小模型的训练；在一种进行网络层内部的深度通信压缩的分布式深度学习训练框架DGC(Deep Gradient Compression)中，增加了很多现有的辅助技术，以克服网络层内部梯度稀疏化带来的损失问题，很大程度上降低了节点间的梯度通信量，但是DGC每次通信仍然需要传递模型的所有网络层，对于模型深度较深的网络，瓶颈依然存在。

发明内容

针对现有技术中的上述不足，本发明将神经网络模型收敛特性应用于分布式训练，提供的一种基于层稀疏化的分布式深度学习训练方法及系统，解决了现有的训练框架仅在网络层内部稀疏化的问题，有效提升了稀疏化程度，降低了通信量。

为了达到上述发明目的，本发明采用的技术方案为：

本发明提供一种基于层稀疏化的分布式深度学习训练方法，包括如下步骤：

S1、根据神经网络模型收敛特性，得到归一化窗口中心列表；

S2、利用层稀疏化方法和归一化窗口中心列表，得到层传输列表；

S3、根据层传输列表进行基于层稀疏化的分布式深度学习训练，得到权重更新参数，完成基于层稀疏化的分布式深度学习训练。

本发明的有益效果为：本发明提供的一种基于层稀疏化的分布式深度学习训练方法，根据神经网络在训练的过程中，不同层的重点学习时机是不同的，选择对当前最需要学习的网络层进行通信同步，其他层留在本地进行累积，在进行节点间梯度传递的时候，选择一部分层的梯度进行节点间通信，有效降低了通信量。

进一步地，所述步骤S1包括如下步骤：

S11、将神经网络的所有层设为层连续序列，并设置神经网络总训练次数；

S12、根据神经网络模型收敛特性，设置动态窗口，所述动态窗口随神经网络训练次数增加从后向前遍历层连续序列，并设置动态窗口整体遍历次数；