[发明专利]一种动态调整Batch-size的神经网络分布式训练方法

说明书

本发明公开了一种动态调整Batch‑size的神经网络分布式训练方法，涉及计算机神经网络分布式训练技术领域，该方法从处理训练数据集的角度出发，对于分布式集群中的每一计算节点，根据其计算力，动态调整Batch‑size和子数据集的划分。从而实现分布式训练集群的负载均衡处理。动态调整Batch‑size的分布式神经网络训练方法不仅可以充分利用各个计算节点的计算能力，还能保证各个计算节点完成本地数据集训练的时间大致相同，从而减少集群的同步开销，提高神经网络分布式训练效率，减少神经网络训练时间。

技术领域

本发明涉及计算机神经网络分布式训练技术领域，具体而言，涉及一种动态调整Batch-size的神经网络分布式训练方法。

背景技术

在神经网络分布式训练中，各个计算节点如何共享和传递本地参数是整个分布式训练的关键环节。目前，同步机制因为实现简单且保证收敛，广泛用于神经网络的分布式训练的参数同步，具体的实现包括：梯度同步、权重同步、稀疏化梯度同步、量化梯度同步等一系列方法。以经典同步梯度(Synchronous Stochastic Gradient Descent,SSGD) 算法为例，对同步类方法进行简要介绍，不同计算节点拥有完整的模型副本和目标数据集的部分子集，在大部分算法中数据集划分采用均匀划分的方式，为了保证模型的一致性，每个节点上神经网络的训练超参数相同，例如：学习率(learning rate),数据集训练周期(Epoch-size)，一个批次的训练数据样本数(Batch-size)等。

同步方法的基本框架如图1所示，t表示参数版本，i代表节点序号。每个计算节点基于分配的子数据集对神经网络进行训练，各个节点计算得到的梯度表示为每个节点计算完成后，会被参数服务器(Parameter Server)同步收集，并被用于计算新的参数w^t+1。最后新参数w^t+1会分发给每个计算节点。以最为简单的梯度平均方法为例，具体实现流程如图2所示：每次迭代后，在第4步进行参数同步，第5步完成新参数的计算和分发。每次训练都同步的分布式训练方法和在单个节点进行梯度下降训练方法相当，可以保证神经网络训练的收敛性，但会带来巨大的同步，整个集群的效率受到最慢节点的限制，如图3所示。图中展示了固定Batch-size的分布式训练中，一个训练周期 (epoch)中两次同步操作示意图。集群中有三个节点，节点1计算速度最快，节点3计算速度最慢，在每次需要进行参数同步时，节点1需要等待最慢节点3训练结束后才能进行，所以集群的计算能力不均会带来每次同步的等待开销，导致大量计算力被浪费。如图3所示，每次迭代，节点1和节点2都有一段时间空闲等待。一个复杂的神经网络一般需要进行重复多次epoch训练，才能达到效果，训练周期越长，计算力耗费就越严重。

发明内容

本发明在于提供一种动态调整Batch-size的神经网络分布式训练方法，其能够缓解上述问题。

为了缓解上述的问题，本发明采取的技术方案如下：

一种动态调整Batch-size的神经网络分布式训练方法，包括以下步骤：

S1、各计算节点获取参数初始化后的神经网络；

S2、对于每一计算节点，根据其计算力，动态调整Batch-size，根据集群训练集样本和调整后的Batch-size，划分得到子数据样本集；

S3、对于每一计算节点，将其本地的子数据样本集划分为若干个训练批次样本集；

S4、对于每一计算节点，获取其一未使用过的训练批次样本集对本地神经网络进行训练，得到本地神经网络训练好的梯度；

S5、收集所有计算节点本地神经网络训练好的梯度；

S6、根据所有训练好的梯度和当前的神经网络参数，计算出新神经网络参数；