[发明专利]一种分布式深度学习的参数更新优化系统

权利要求书

1.一种分布式深度学习的参数更新优化系统，包括一个或多个参数服务器节点和多个工作节点，其特征在于：该系统的工作过程包括以下步骤：

S1：每个工作节点读入本地的一批训练数据至内存；

S2：工作节点根据用户规定好的模型结构，随机初始化各层参数，并记录当前参数版本为θ1＝0，参数服务器设置参数版本号为θ2＝0；

S3：工作节点根据读入的样本数据及对应的期望输出，进行前向传播，最后得到模型的输出值；其中，各工作节点互不影响，独立计算；

S4：工作节点根据前向传播的模型输出与样本数据的期望输出的误差得到损失值Loss，根据损失值Loss进行反向传播，逐层计算参数梯度υ；

S5：工作节点将计算完的梯度以及当前使用的参数版本号发回至参数服务器，参数服务器每收到一个工作节点传来的梯度就将参数版本号加1，即θ2＝θ2+1；

S6：参数服务器对θ2进行判断，如果θ2等于T，表明全部工作节点已经执行T此迭代，则采用同步的聚合平均方式，等待所有工作节点完成自己本轮的迭代后，汇总平均梯度值，将平均梯度值与参数相加得到新的参数；如果θ2小于T，根据公式w＝w+λ*υ更新参数，其中λ为梯度陈旧度，λ＝1/(θ2-θ1)；

S7：工作节点从参数服务器上拉取新的参数以及版本号，将本地的参数版本号更新，即θ1＝θ2，继续读入下一批数据进行新一轮训练；

其中，

θ1：工作节点的参数版本号；

θ2：参数服务器的参数版本号；

υ：工作节点计算出的梯度；

w：模型参数；

λ：梯度陈旧度；

T：强制同步间隔。

2.根据权利要求1所述的分布式深度学习的参数更新优化系统，其特征在于：所述的参数服务器负责参数的存储和更新，共同维护全局共享的模型参数，可由用户设置为一个或多个。

3.根据权利要求1所述的分布式深度学习的参数更新优化系统，其特征在于：所述的工作节点保留部分训练数据，并执行计算，设有多个。

4.根据权利要求1所述的分布式深度学习的参数更新优化系统，其特征在于：所述的参数服务器的工作流程具体如下：

a.设置最初的参数版本号θ2＝0；

b.接收工作节点发来的梯度v以及工作节点使用的参数版本号θ1；

c.更新参数版本号θ2＝θ2+1；

d.判断θ2强制同步间隔T是否成立；若成立，则进行步骤e，否则进行步骤g；

e.计算梯度陈旧度为λ＝1/(θ2-θ1)；

f.利用梯度来更新参数w＝w+λ*υ，结束操作；

g.使用同步策略更新参数，得到所有工作节点的平均梯度a；

h.利用平均梯度来更新参数w＝w+a，结束操作。

5.根据权利要求1所述的分布式深度学习的参数更新优化系统，其特征在于：所述的工作节点的工作流程如下：

(1)各工作节点读取一批数据；

(2)判断是否是第一次迭代；若是则进行步骤(3)，否则进行步骤(4)；

(3)初始化模型参数，并设置当前参数版本号为θ1＝0；

(4)从参数服务器拉取最新的参数，更新参数版本号θ1＝θ2；

(5)根据前向传播算出损失值Loss；

(6)根据后向传播计算梯度；

(7)将梯度和参数版本号θ1＝发送给参数服务器；

(8)根据参数服务器对收到的梯度进行参数更新；

(9)判断本地是否存在还未训练的数据分片；若是则进行步骤(1)，否则结束操作。