[发明专利]一种分布式深度学习的参数更新优化系统

摘要

本发明涉及一种分布式深度学习的参数更新优化系统；在参数更新部分对参数进行了版本控制，在参数服务器端和工作节点上都增加了参数的版本号，当前的工作节点拉取最新版本的参数进行训练跟梯度计算后，参数服务器会根据两个版本号的差值作为此工作节点此次迭代的梯度陈旧度σi,l，然后将梯度乘以对参数进行更新；进一步的设定一个强制同步的迭代次数T，每个工作节点在进行T次迭代后会强制同步一次，两种机制相结合来改善梯度陈旧导致的收敛性差的问题。

主权项

1.一种分布式深度学习的参数更新优化系统，包括一个或多个参数服务器节点和多个工作节点，其特征在于：该系统的国内工作过程包括以下步骤：S1.工作节点根据用户规定好的模型结构，随机初始化各层参数，并记录当前参数版本为θl＝0，l的取值范围为(0，λ)，参数服务器设置参数版本号为θ0＝0，并根据用户定义将强制同步间隔值T初始化为一常量值；S2.每个工作节点读入本地的一批训练数据至内存；S3.工作节点根据读入的样本数据及对应的期望输出，进行前向传播，最后得到模型的输出值；其中，各工作节点互不影响，独立计算；S4.工作节点根据前向传播的模型输出与样本数据的期望输出的误差得到损失函数值Loss，根据损失函数值Loss进行反向传播，逐层计算参数梯度ΔWl；S5.工作节点将计算完的梯度ΔWl以及当前使用的参数版本号θl发回至参数服务器，等待参数服务器对参数进行更新。参数服务器每收到一个工作节点传来的梯度就将参数版本号加1，即θ0＝θ0+1；S6.参数服务器对θ0进行判断，如果θ0％T不为0，参数更新使用梯度加权方式，用以下公式(1.1)定义此工作节点发来的梯度的陈旧度：σi,l＝θl‑θ0    (1.1)然后利用公式(1.2)更新全局参数如果(θ0％T)＝＝0，则表明当前所有工作节点的已经一共进行了T次异步更新操作，需要进行强制同步，参数更新办法利用公式(1.3)进行聚合平均。其中，各参数含义如下S7.参数服务器更新完全局参数后，工作节点从参数服务器拉取最新的参数以及版本号，并更新本地的参数版本号θl＝θ0。参数服务器等待接收下一个梯度。