[发明专利]分布式深度神经网络集群分组同步优化方法及系统

摘要

本发明公开了一种分布式深度神经网络集群分组同步优化方法及系统，其中，方法的实现包括：对集群中的节点按性能分组、训练数据按节点性能分配、同组内使用同步并行机制、不同组间使用异步并行机制和不同组间使用不同的学习率。将性能相近的节点分为一组，可以减小同步开销；性能好的节点分配更多的训练数据，可以提高其资源利用率；在同步开销小的组内使用同步并行机制，可以发挥同步并行机制收敛效果好的优点；在同步开销大的组间使用异步并行机制，可以避免同步开销；对不同分组使用不同的学习率，有利于模型收敛。本发明针对异构集群中分布式深度神经网络的参数同步过程，使用了分组同步方法，大大提高了模型的收敛速度。

主权项

1.一种分布式深度神经网络集群分组同步优化方法，其特征在于，包括：(1)基于集群中各机器节点的性能将集群中的n台机器节点分为N组，其中，属于同一分组的各机器节点性能相近；(2)为各分组分配训练数据，其中，每个分组中所有机器节点的总体性能与该分组对应的训练数据量正相关，且同一分组内的各机器节点分配的训练数据量相同；(3)为各分组分配不同的学习率，其中，各分组中的机器节点数目及各分组中所有机器节点的总体性能与分组对应的学习率正相关；(4)在每个分组内部使用同步并行机制对分组中的训练数据进行训练；步骤(4)具体包括：(4.1)在每个分组内部使用同步并行机制：对于每个分组group_j，j＝1～N，group_j内的机器节点在一轮迭代结束后，将该机器节点计算出的梯度提交参数服务器，同时等待group_j内其它机器节点完成本轮迭代并向参数服务器提交梯度；(4.2)参数服务器将分组group_j内所有机器节点的梯度累加并求平均：其中，ΔW_k表示group_j中每台机器节点计算出的梯度，M_j表示group_j中机器节点的数量；(4.3)由W'＝W‑η_j'×ΔW_j更新本地模型参数W，并将更新后的模型参数W'分发到group_j中的各台机器节点上，其中η_j'为group_j使用的学习率；(5)各分组之间使用异步并行机制对分组中的训练数据进行训练；步骤(5)具体包括：在不同组间使用异步并行机制：参数服务器为每个分组分配一个处理进程，每个进程只负责与该进程对应分组的模型参数更新，各进程间共享参数服务器的本地模型参数，在一轮迭代中，一个进程计算出该进程对应分组内所有机器节点的平均梯度ΔW_j后，使用ΔW_j来更新本地模型参数W，而不用等待其它分组中的机器节点提交的梯度。