[发明专利]一种减少分布式机器学习通信开销的方法

摘要

本发明公开了一种减少分布式机器学习通信开销的方法，基于参数服务器架构，既适用于数据中心的多机集群分布式机器学习，也适用于服务器作为云端、手机或嵌入式设备作为终端的端云协同分布式机器学习。包括以下步骤：首先所有工作节点计算梯度，并结合两轮参数差求出全局动量，将全局动量与上一轮记忆梯度求和得到新一轮记忆梯度，对其取部分发给服务器节点，剩下部分进行累积；随后服务器节点累积所有稀疏的记忆梯度和，以此更新参数并将两轮的参数差广播给所有工作节点；最后工作节点接收两轮参数差，并更新参数。本发明的方法基于全局梯度压缩，工作节点与服务器节点间通信时只传递全局动量的一部分，从而减小了分布式机器学习中的通信开销。

主权项

1.一种减少分布式机器学习通信开销的方法，其特征在于，其在服务器节点上训练流程的具体步骤为：步骤100，输入机器学习模型w以及总共的迭代轮数T、工作节点数目p、样本总数n、学习率η_t；步骤101，随机初始化模型参数w＝w₀；步骤102，累计所有工作节点发送过来的稀疏记忆梯度步骤103，更新模型参数w_t+1＝w_t‑η_tv_t,k；步骤104，将参数差w_t+1‑w_t广播给所有的工作节点；步骤105，判断当前已完成的迭代轮数t是否达到总共的迭代轮数T，如果是则输出并保存模型参数w；否则返回步骤102继续进行训练。