[发明专利]分布式深度神经网络集群分组同步优化方法及系统

权利要求书

1.一种分布式深度神经网络集群分组同步优化方法，其特征在于，包括：

(1)基于集群中各机器节点的性能将集群中的n台机器节点分为N组，其中，属于同一分组的各机器节点性能相近；

(2)为各分组分配训练数据，其中，每个分组中所有机器节点的总体性能与该分组对应的训练数据量正相关，且同一分组内的各机器节点分配的训练数据量相同；

(3)为各分组分配不同的学习率，其中，各分组中的机器节点数目及各分组中所有机器节点的总体性能与分组对应的学习率正相关；

(4)在每个分组内部使用同步并行机制对分组中的训练数据进行训练；

(5)各分组之间使用异步并行机制对分组中的训练数据进行训练。

2.根据权利要求1所述的方法，其特征在于，步骤(1)具体包括：

(1.1)对集群中的每台机器节点node_i，使用该机器节点node_i训练一个世代，其中，i为机器节点标号，i＝1～n，每台机器节点训练所使用的训练数据、神经网络结构和训练超参数相同；

(1.2)获取每台机器节点的训练时间t_i，根据每台机器节点的训练时间t_i将所有机器节点分为N组，其中，属于同一分组的各机器节点的训练时间相近。

3.根据权利要求2所述的方法，其特征在于，步骤(2)具体包括：

对于每个分组group_j，由计算出group_j中每台机器节点分配的训练数据量百分比，其中，T_j表示group_j中训练时间最长的机器节点对应的训练时间，M_j表示group_j中机器节点的数量，j＝1～N，T_g表示group_g中训练时间最长的机器节点对应的训练时间，M_g表示group_g中机器节点的数量，j、g为分组标号。

4.根据权利要求3所述的方法，其特征在于，步骤(3)具体包括：

(3.1)为每个分组初始化相同的学习率；

(3.2)在分组group_j，j＝1～N对训练数据的训练过程中调整group_j对应的学习率η_j，调整后的学习率为η_j'＝factor_j×η_j，其中，factor_j表示分组group_j对应的学习率动态调整因子，且各分组中的机器节点数目及各分组中所有机器节点的总体性能与分组对应的学习率动态调整因子正相关，η_j'是group_j的学习率η_j经过调整因子factor_j调整后的新学习率，factor_j取值范围为：0～1。

5.根据权利要求4所述的方法，其特征在于，步骤(4)具体包括：

(4.1)在每个分组内部使用同步并行机制：对于每个分组group_j，j＝1～N，group_j内的机器节点在一轮迭代结束后，将该机器节点计算出的梯度提交参数服务器，同时等待group_j内其它机器节点完成本轮迭代并向参数服务器提交梯度；

(4.2)参数服务器将分组group_j内所有机器节点的梯度累加并求平均：其中，ΔW_k表示group_j中每台机器节点计算出的梯度；

(4.3)由W'＝W-η_j'×ΔW_j更新本地模型参数W，并将更新后的模型参数W'分发到group_j中的各台机器节点上，其中η_j'为group_j使用的学习率。