[发明专利]一种减少分布式机器学习通信开销的方法

权利要求书

1.一种减少分布式机器学习通信开销的方法，其特征在于，其在服务器节点上训练流程的具体步骤为：

步骤100，输入机器学习模型w以及总共的迭代轮数T、工作节点数目p、样本总数n、学习率η_t；

步骤101，随机初始化模型参数w＝w₀；

步骤102，累计所有工作节点发送过来的稀疏记忆梯度m_t,k为稀疏向量，g_t,k为全局动量向量；

步骤103，更新模型参数w_t+1＝w_t-η_tv_t,k；

步骤104，将参数差w_t+1-w_t广播给所有的工作节点；

步骤105，判断当前已完成的迭代轮数t是否达到总共的迭代轮数T，如果是则输出并保存模型参数w；否则返回步骤102继续进行训练；

其在第k个工作节点上训练流程的具体步骤为：

步骤200，输入训练样本集合的子集完整的训练样本集合以及总共的迭代轮数T、学习率η_t、稀疏度ρ、批量大小b、动量系数β、模型参数大小d；

步骤201，初始化记忆动量u_0,k＝0；

步骤202，接受服务器节点发送的模型参数差w_t-w_t-1；

步骤203，更新模型参数w_t＝w_t-1-(w_t-w_t-1)；

步骤204，从本地数据集中随机挑选一个小批量数据

步骤205，根据本地的样本数据集计算出随机梯度其中则表示第i个样本ξ_i所对应的损失函数在当前模型参数下的梯度；

步骤206，计算全局动量向量

步骤207，生成一个稀疏向量m_t,k∈{0，1}^d，||m_t,k||₀＝dρ；

步骤208，发送m_t,k⊙(u_t,k+g_t,k)到服务器节点；

步骤209，更新记忆梯度u_t+1，k＝(1-m_t,k)⊙(u_t,k+g_t,k)，k＝1,2，…，p；

步骤210，判断当前已完成的迭代轮数t是否达到总共的迭代轮数T，如果是则结束训练流程；否则返回步骤202继续进行训练。

2.如权利要求1所述的减少分布式机器学习通信开销的方法，其特征在于：步骤207-209中，生成一个稀疏向量m_t,k∈{0，1}^d，||m_t,k||₀＝dρ，发送m_t,k⊙(u_t,k+g_t,k)到服务器节点，更新记忆梯度u_t+1，k＝(1-m_t,k)⊙(u_t,k+g_t,k)，k＝1,2，…，p。