[发明专利]基于分布式通信的神经网络训练方法、装置及存储介质

说明书

本公开涉及基于分布式通信的神经网络训练方法、装置及存储介质，该方法包括训练神经网络，将产生的梯度保存在第一梯度序列；根据该第一梯度序列和第二梯度序列，得到累计梯度序列；该第二梯度序列用于记录尚未参与同步的梯度；根据该累计梯度序列计算得到重要度指标序列；获取重要梯度指示序列，根据该重要梯度指示序列确定该累计梯度序列中的重要梯度；根据该重要梯度和该重要度指标序列得到该训练节点的待同步信息；基于该待同步信息进行训练节点间的同步，得到同步后梯度序列和同步后重要梯度指示序列；根据该同步后梯度序列调整该神经网络的参数。本公开可以降低节点通信的频率和数据量，降低通信开销，提升神经网络的训练速度。

技术领域

本公开涉及机器学习技术领域，尤其涉及基于分布式通信的神经网络训练方法、装置及存储介质。

背景技术

随着信息技术的发展和人工智能的兴起，神经网络在日常生活中的应用日益广泛，神经网络的种类越来越多，复杂度也越来越高，传统的单机训练可能需要数万次迭代数月的时间才能收敛，单机的计算能力已经难以匹配神经网络训练的算力需求；而分布式的训练方法虽然可以通过将训练任务并行分配到多个节点提升算力，但是需要各个节点间的相互通信才能够完成训练，各个节点的通信数据量较大、频率较高又造成了较高的带宽消耗和较长的通信时滞，使得节点间通信的问题成为了神经网络训练提速的瓶颈。

发明内容

为了解决上述的至少一个技术问题，本公开提出了一种基于分布式通信的神经网络训练方案。

根据本公开的第一方面，提供了基于分布式通信的神经网络训练，其应用于训练节点，包括：训练所述训练节点对应的神经网络，将产生的梯度保存在第一梯度序列；根据所述第一梯度序列和第二梯度序列，得到累计梯度序列；所述第二梯度序列用于记录尚未参与同步的梯度；根据所述累计梯度序列计算得到重要度指标序列；获取重要梯度指示序列，根据所述重要梯度指示序列确定所述累计梯度序列中的重要梯度；根据所述重要梯度和所述重要度指标序列得到所述训练节点的待同步信息；基于所述待同步信息进行训练节点间的同步，得到同步后梯度序列和同步后重要梯度指示序列；根据所述同步后梯度序列调整所述神经网络的参数，以及将所述同步后重要梯度指示序列作为新的所述重要梯度指示序列。基于上述配置，可以对于重要梯度和用于确定重要梯度的相关信息在一次通信过程中进行同步，同步结果可以确保各个训练节点得到的重要梯度均对应于相同的神经网络参数，而不必再额外就重要梯度的位置进行节点间通信，降低了节点通信的频率，提升了训练速度。

在一些可能的实施方式中，所述根据所述第一梯度序列和第二梯度序列，得到累计梯度序列，包括：基于预设的分段规则对所述第一梯度序列和所述第二梯度序列分别进行分段，得到第一梯度段序列和第二梯度段序列；其中，若第一梯度段在所述第一梯度段序列中的位置与第二梯度段在所述第二梯度段序列中的位置相同，则所述第一梯度段和所述第二梯度段相对应，并且均对应于相同的神经网络参数；设置多个并行的计算线程，每个所述计算线程获取至少一个第一梯度段，以及与所述第一梯度段对应的第二梯度段；每个所述计算线程对于获取到的每个第一梯度段，将所述第一梯度段与对应的第二梯度段进行累加，得到对应的累计梯度段；根据各个所述计算线程得到的累计梯度段，得到所述累计梯度序列。基于上述配置，可以通过并行分段计算累计梯度，提升累计梯度序列的计算速度。

在一些可能的实施方式中，所述根据所述累计梯度序列计算得到重要度指标序列，包括：每个所述计算线程根据得到的所述累计梯度段，计算对应的重要度指标；根据各个所述计算线程的重要度指标计算结果，得到重要度指标序列。基于上述配置，使得得到的重要度指标可以表征包括多个梯度的梯度段的重要程度，进而在后续的同步过程中可以确定该梯度段是否为重要梯度段，便于以梯度段为粒度确定重要梯度，从而完成梯度段粒度的梯度更新，实现了稀疏梯度更新，进一步降低通信的数据量，提升训练速度。