[发明专利]一种参数服务器中全局参数的更新方法

摘要

本发明公开了一种参数服务器中全局参数的更新方法，先设置参数服务器相关参数，并对全局参数初始化，然后从数据库中下载训练数据，并进行预处理，再利用预处理后的训练参数和初始化后的全局参数计算各个工作节点的本地参数，最后将本地参数回传给参数服务器，通过参数服务器进行迭代更新全局参数。

主权项

1.一种参数服务器中全局参数的更新方法，其特征在于，包括以下步骤：(1)、全局参数初始化设置全局时间戳t，设置一个训练的最大迭代次数T，t＝0,1,2,…,T‑1；t＝0时，参数服务器随机初始化全局参数，并将初始化后的全局参数w0发送给所有的工作节点；(2)、训练数据预处理从数据库中下载多个训练数据，根据工作节点个数等分成m份，再分别发放给m个工作节点，保存在各个工作节点的本地数据块中；(3)、工作节点根据全局参数w0进行训练，得到本地参数；(3.1)、在第t个时间戳时，每个工作节点节点从本地数据块中随机抽取n个样本数据，n＜＜m；(3.2)、通过Mini‑batch算法，使用全局参数w₀对n个样本数据进行训练，得到每个节点的每个样本训练输出值i＝1,2,…,n，j＝1,2,…,m，m为工作节点个数；(3.3)、计算第j个工作节点的损失函数值Lj：其中，表示第j个工作节点进行第i个样本训练时的期望输出值；(3.4)、根据损失函数值L计算梯度值▽L；(3.5)、计算第j个工作节点在第t个时间戳时的本地参数其中，η表示学习率；(4)、全局参数更新(4.1)、参数服务器依次接收各工作节点传递过来的本地参数再按照先后顺序为每个工作节点确定一个延迟度；dj＝t‑tτ其中，dj为第个工作节点的延迟度，tτ表示第j个节点上一轮更新全局参数的时间戳；(4.2)、通过第j个工作节点的延迟度dj，计算第j个工作节点的参数αj：其中，c为常数；(4.3)、参数服务器更新第j个工作节点的全局参数同理，参数服务器依次更新第t个时间戳时其余工作节点的全局参数；(4.4)、待第t个时间戳时的所有工作节点的全局参数更新完成后，令t＝t+1，参数服务器将更新后的全局参数wt+1回传给各对应工作节点，再返回步骤(3)重复上述步骤，直到全局时间戳t到达最大迭代次数时，迭代结束，完成全局参数的更新。