[发明专利]一种参数服务器中全局参数的更新方法

权利要求书

1.一种参数服务器中全局参数的更新方法，其特征在于，包括以下步骤：

(1)、全局参数初始化

设置全局时间戳t，设置一个训练的最大迭代次数T，t＝0,1,2,…,T-1；t＝0时，参数服务器随机初始化全局参数，并将初始化后的全局参数w₀发送给所有的工作节点；

(2)、训练数据预处理

从数据库中下载多个训练数据，根据工作节点个数等分成m份，再分别发放给m个工作节点，保存在各个工作节点的本地数据块中；

(3)、工作节点根据全局参数w₀进行训练，得到本地参数；

(3.1)、在第t个时间戳时，每个工作节点从本地数据块中随机抽取n个样本数据，n＜＜m；

(3.2)、通过Mini-batch算法，使用全局参数w₀对n个样本数据进行训练，得到每个节点的每个样本训练输出值m为工作节点个数；

(3.3)、计算第j个工作节点的损失函数值L_j：

其中，表示第j个工作节点进行第i个样本训练时的期望输出值；

(3.4)、根据损失函数值L计算梯度值

其中，通过Mini-batch算法进行样本数据训练时，神经元a与神经元b之间的权重为w_ab，本层的输出为x，上一层的输出为v，且满足：x＝v·w_ab；

(3.5)、计算第j个工作节点在第t个时间戳时的本地参数

其中，η表示学习率；

(4)、全局参数更新

(4.1)、参数服务器依次接收各工作节点传递过来的本地参数再按照先后顺序为每个工作节点确定一个延迟度；

d_j＝t-t_τ

其中，d_j为第j个工作节点的延迟度，t_τ表示第j个节点上一轮更新全局参数的时间戳；

(4.2)、通过第j个工作节点的延迟度d_j，计算第j个工作节点的参数α_j：

其中，c为常数；

(4.3)、参数服务器更新第j个工作节点的全局参数

同理，参数服务器依次更新第t个时间戳时其余工作节点的全局参数；

(4.4)、待第t个时间戳时的所有工作节点的全局参数更新完成后，令t＝t+1，参数服务器将更新后的全局参数w_t+1回传给各对应工作节点，再返回步骤(3)重复上述步骤，直到全局时间戳t到达最大迭代次数时，迭代结束，完成全局参数的更新。