[发明专利]一种动态调整Batch-size的神经网络分布式训练方法

权利要求书

1.一种动态调整Batch-size的神经网络分布式训练方法，其特征在于，包括以下步骤：

S1、各计算节点获取参数初始化后的神经网络；

S2、对于每一计算节点，根据其计算力，动态调整Batch-size，根据集群训练集样本和调整后的Batch-size，划分得到子数据样本集；

S3、对于每一计算节点，将其本地的子数据样本集划分为若干个训练批次样本集；

S4、对于每一计算节点，获取其一未使用过的训练批次样本集对本地神经网络进行训练，得到本地神经网络训练好的梯度；

S5、收集所有计算节点本地神经网络训练好的梯度；

S6、根据所有训练好的梯度和当前的神经网络参数，计算出新神经网络参数；

S7、将新神经网络参数分发至各计算节点，若所有计算节点的训练批次样本集均使用过，则当前epoch的神经网络分布式训练结束，跳转至步骤S8，否则跳转至步骤S4；

S8、若当前的epoch次数等于epoch size，则神经网络分布式训练结束，否则跳转至骤S2；

所述步骤S2中，若当前epoch是第一个训练周期，则设定各计算节点的计算力相同，各计算节点的Batch-size和子数据样本集均采用均分的方式得到，若当前epoch不是第一个训练周期，则按照如下方法划分得到子数据样本集，具体为：

S21、评估计算节点的计算力；

S22、根据计算力的强弱，动态调整计算节点的Batch-size；

S23、对调整后的Batch-size取整；

S24、根据集群训练集样本以及取整后的Batch-size，动态划分得到子数据样本集；

所述步骤S21具体包括：

设计算节点i上一个epoch的训练时间为子数据样本集的样本数量为

根据公式得到计算节点i当前的计算力；

其中，i表示计算节点的编号，j表示epoch次数，1＜j≤epoch size，表示计算节点i当前的计算力；

所述步骤S22具体包括：

设整个分布式训练中集群保持不变的Batch-size为B；

对于计算节点i，设其Batch-size为占B的比例为其下一次迭代的训练时间为T，则有

将公式2代入公式1中，得到将T代入公式2中，则有：

根据公式

计算得到计算节点i的Batch-size；

所述步骤S23具体包括：

设取整后的Batch size为则有

为满足公式4，对向下取整，则有

实际计算出来的Batch-size和B差距表达为：

为了满足公式5，对Batch-size的集合B^j+1取小数位数值进行降序排序：表示B^j+1的小数部分；从中选出前m个数的序号：(id₁,id₂…id_m),m≤k，将小数位的值大于0.5的向上取整，得到取整后的Batch-size集合：

所述步骤S24具体包括：

对所有计算节点的Batch-size进行归一化后，根据公式

计算各计算节点的数据样本划分比例

设集群训练集样本数量为D，则各计算节点的子数据样本数量为：

根据该数量从集群训练集样本中划分得到各计算节点的子数据样本集；

各计算节点从集群中的调度节点获取神经网络，且通过调度节点为各计算节点划分子数据样本集，以及通过调度节点向各计算节点分发新神经网络参数。

2.根据权利要求1所述动态调整Batch-size的神经网络分布式训练方法，其特征在于，所述步骤S2中，所述计算力指的是单位时间内完成训练任务的速度，计算力越强的计算节点，其得到的子数据样本集越大，计算力越弱的计算节点，其得到的子数据样本集越小。