[发明专利]一种分布式深度学习的梯度压缩方法

摘要

本发明涉及人工智能领域，更具体的，涉及一种分布式深度学习的梯度压缩方法，利用基于梯度方差的方法，改变传统梯度稀疏化中采用固定阈值或百分比的方法来决定是否发送该梯度。由于使用固定阈值或百分比的方法往往需要实验者拥有一定的先验知识，若初始阈值或百分比选择不恰当，会导致实验无法达到预期效果。本专利采用基于梯度方差的方法，与现有技术相比，大大的减少了人为因素的干预，使梯度稀疏化更加灵活，更加科学。

主权项

1.一种分布式深度学习的梯度压缩方法，其特征在于，包括以下步骤：步骤S1：每个Worker节点读取一批训练数据到内存中；步骤S2：Worker节点利用读入的样本数据及对应的期望输出，进行前向传播，最后得到模型的输出值；步骤S3：Worker节点根据前向传播得到的模型输出值计算与样本数的期望输出的误差得到损失值Loss，根据损失值Loss进行反向传播，并且加上残差梯度r_t,得到参数梯度向量步骤S4：当梯度元素满足和时，选择发送该梯度；未发送的梯度则作为残差梯度，保留至下一次迭代；其中为梯度向量，为梯度元素，|B|为MiniBatch训练数据大小，α′为预设准确率，z为MiniBatch中的某个样本，f_z、f_B为损失函数，为第i个参数在MiniBatchB中的样本梯度方差，τ为每轮迭代中梯度的最大值，σ上一轮迭代中的压缩率；步骤S5：Worker节点将需要发送的梯度封装并发送给参数服务器，参数服务器聚集所有Worker节点发来的压缩梯度，将梯度进行聚合，生成新的梯度向量，并分发给所有Worker节点；步骤S6：节点收到由参数服务器发来的全局参数梯度更新向量，采用Adadelta优化算法进行参数更新，然后继续读入下一批训练数据进行新一轮的迭代；步骤S7：判断训练迭代次数是否满足要求，若满足，结束迭代，如不满足，进行新一轮的迭代。