[发明专利]一种参数服务器中全局参数的更新方法

说明书

本发明公开了一种参数服务器中全局参数的更新方法，先设置参数服务器相关参数，并对全局参数初始化，然后从数据库中下载训练数据，并进行预处理，再利用预处理后的训练参数和初始化后的全局参数计算各个工作节点的本地参数，最后将本地参数回传给参数服务器，通过参数服务器进行迭代更新全局参数。

技术领域

本发明属于光通信技术领域，更为具体地讲，涉及一种参数服务器中全局参数的更新方法。

背景技术

设计一个分布式机器学习系统的目标是能够获得加速——在最理想情况下，应该能够获得线性加速。也就是说，每多加一个计算节点进来，相对于单机，就应该获得额外的1倍加速。但是由于同步不同节点上的计算任务或参数通常会产生额外的开销，这个开销可能会大于、甚至几倍于计算开销。如果这个系统设计的不合理，这个开销就会导致你的训练在多机上并不能获得加速，甚至于出现这种情况：当你用了好几倍于单机的计算资源来并行你的机器学习训练程序，却发现比单机还要慢。

PS的架构其实和客户端——服务器(CS)架构差不多，PS主要抽象出了两个主要概念：参数服务器(parameter server)和工作节点(client,or worker)。服务器里面放了一些数据，而计算节点则可以向服务器发数据或者请求服务器回传数据。有了这两个概念，就可以把分布式机器学习的计算流程和PS中的服务器和工作节点这两个模块做如下的映射：PS的服务器端维护全局共享的模型参数w_t，而客户端则对应到执行计算任务的各个工作节点。同时，服务器端向客户端提供两个主要的API：push和pull。

在每次迭代开始的时候，所有的客户端先调用pull向服务器发送一个请求，请求服务器回传最新的模型参数，每个计算节点收到回传的模型参数后，它就把这份最新的参数拷贝并覆盖到之前旧的参数上，然后执行计算得到梯度更新值。换句话说，PS的pull确保了每个计算节点在计算开始前都能获取一份最新参数的拷贝。

在实际的使用过程中，分布式集群环境本身存在网络延迟等问题，同时，集群中的各个机器性能存在差异，所以当分布式深度学习算法运行在这类异构集群环境中时，算法的稳定性会下降，并且严重的时候会出现模型不收敛。这与我们使用分布式集群进行模型训练的初衷相背离，没能达到加速神经网络训练过程的目的。

对异步随机梯度下降SGD算法而言，系统中的延迟对算法有效收敛造成了影响，即当快的工作节点已经完成了几次迭代，并且将更新值已经更新到全局参数后，这时参数服务器接受到了慢的工作节点传递过来的延迟的更新值，而这个延迟的更新的值会被同样的更新方式更新到全局参数中，这样导致了全局参数又偏离了最优解的方向，影响了整个模型的收敛速度。

发明内容

本发明的目的在于克服现有技术的不足，提供一种参数服务器中全局参数的更新方法，根据权值参数的延迟度，动态的更新全局参数，从而减小高延迟对算法的影响。

为实现上述发明目的，本发明一种参数服务器中全局参数的更新方法，其特征在于，包括以下步骤：

(1)、全局参数初始化

设置全局时间戳t，设置一个训练的最大迭代次数T，t＝0,1,2,…,T-1；t＝0时，参数服务器随机初始化全局参数，并将初始化后的全局参数w₀发送给所有的工作节点；

(2)、训练数据预处理

从数据库中下载多个训练数据，根据工作节点个数等分成m份，再分别发放给m个工作节点，保存在各个工作节点的本地数据块中；

(3)、工作节点根据全局参数w₀进行训练，得到本地参数；

(3.1)、在第t个时间戳时，每个工作节点从本地数据块中随机抽取n个样本数据，n＜＜m；