[发明专利]一种减少分布式机器学习通信开销的方法

说明书

本发明公开了一种减少分布式机器学习通信开销的方法，基于参数服务器架构，既适用于数据中心的多机集群分布式机器学习，也适用于服务器作为云端、手机或嵌入式设备作为终端的端云协同分布式机器学习。包括以下步骤：首先所有工作节点计算梯度，并结合两轮参数差求出全局动量，将全局动量与上一轮记忆梯度求和得到新一轮记忆梯度，对其取部分发给服务器节点，剩下部分进行累积；随后服务器节点累积所有稀疏的记忆梯度和，以此更新参数并将两轮的参数差广播给所有工作节点；最后工作节点接收两轮参数差，并更新参数。本发明的方法基于全局梯度压缩，工作节点与服务器节点间通信时只传递全局动量的一部分，从而减小了分布式机器学习中的通信开销。

技术领域

本发明提供了一种减少分布式机器学习通信开销的方法，可以有效地减少分布式机器学习中的通信开销。

背景技术

大部分机器学习模型可以被形式化为以下优化问题：

其中w代表了模型的参数，n代表了训练样本的总数，ξ_i代表了第i个样本，f(w；ξ_i)则表示第i个样本所对应的损失函数，d表示模型大小。为了求解上述优化问题，随机梯度下降法(SGD)以及它的变体是目前应用最为广泛的方法。变种中的动量梯度下降法(MSGD)对梯度使用指数加权平均，使得本次梯度影响减少，波动情况减小，在接近最小值时收敛更加稳定。

参数服务器架构(Parameter Server)是分布式机器学习中常用的一种架构，该架构具有良好的可扩展性和容错性，同时也支持灵活的一致性模型。参数服务器架构中包含一个服务器节点集群和多个工作节点集群，服务器节点集群包含多个服务器节点，一个服务器节点维护全局共享参数的一部分，服务器节点彼此通信来复制和/或迁移参数以用于可靠性和缩放。一个工作节点集群通常本地存储一部分训练数据，运行一个应用程序来计算一些局部数据，比如梯度。工作节点互相之间不通信，只与服务器节点通信来更新和检索共享参数。

随着训练数据量的增大，很多机器学习问题的训练过程需要花费大量的时间，分布式算法将训练数据分散到多个节点上并行地进行训练，以此来加速机器学习的训练过程。在实现数据并行的随机梯度下降法时，工作节点使用不同的数据子集和本地模型副本并行地计算出梯度，并发送给服务器节点。中心化的参数服务器收集所有梯度，并对他们求平均用来更新参数，然后把更新后的参数发给所有的工作节点。在算法拓展性较好的时候，数据并行使得增加训练节点的数可以显著减少模型训练时间。然而，随着分布式集群的规模越来越大，梯度的传递和参数的同步延长了通信时间，成为了进一步提高效率的瓶颈。

发明内容

发明目的：目前的分布式随机梯度下降法在参数更新时，服务器节点需要从每一个工作节点接受一个高维向量。随着机器学习模型的增大和工作节点数增多，这样的方法中所消耗的通信时间也会越来越长，最终导致通信堵塞，算法收敛速度减慢。针对上述问题与不足，提供一种减少分布式机器学习通信开销的方法，基于全局动量压缩，工作节点计算出本地的梯度，加到全局动量上，再加上上一轮的记忆梯度，然后根据某种方法取和的一部分到参数服务器，在参数服务器中汇总更新参数后广播到所有工作节点。可以看出，本发明的方法中，在工作节点与服务器节点之间通信时，只发送参数差和记忆梯度的一部分，所以能有效地减少分布式机器学习中的通信开销，达到加速分布式机器学习训练过程的目的。

技术方案：一种减少分布式机器学习通信开销的方法，其在服务器节点上训练流程的具体步骤为：

步骤100，输入机器学习模型w以及总共的迭代轮数T、工作节点数目p、样本总数n、学习率η_t；

步骤101，随机初始化模型参数w＝w₀；

步骤102，累计所有工作节点发送过来的稀疏记忆梯度m_t，k⊙(u_t，k+g_t，k)为第k个工作节点发过来的稀疏向量；