[发明专利]一种模型参数训练方法、服务器、系统及存储介质

说明书

本公开关于一种模型参数训练方法、服务器、系统及存储介质，涉及机器学习技术领域。本公开实施例至少解决相关技术中，预测模型的参数训练耗时较长的问题。该方法应用于分布式系统的工作服务器，包括：获取当前批次的训练样本对应的当前嵌入参数；从工作服务器中获取工作服务器当前存储的网络参数；基于当前批次的训练样本，对当前嵌入参数以及工作服务器当前存储的网络参数进行迭代训练，以得到嵌入参数梯度以及网络参数梯度；基于嵌入参数梯度，更新当前嵌入参数，并向参数服务器同步更新后的嵌入参数；基于网络参数梯度，更新工作服务器当前存储的网络参数。

技术领域

本公开涉及机器学习技术领域，尤其涉及一种模型参数训练方法、服务器、系统及存储介质。

背景技术

目前，相关技术将深度神经网络作为确定点击通过率(click-through-rate，CTR)的预测模型，该预测模型中的网络参数为采用基于分布式参数服务器(parameter server，PS)架构的大规模稀疏模型训练得到的。具体的，PS构架中包括参数服务器以及工作服务器，在训练中，工作服务器用于在从外部获取训练样本之后，从参数服务器中获取模型参数，并对模型参数进行迭代训练，并将训练得到的模型参数的梯度发送至参数服务器，由参数服务器根据模型参数的梯度，对其存储的模型参数进行更新。

但是，由于参数服务器主要利用中央处理器(central processing unit，CPU)进行模型参数的更新，工作服务器主要利用图形处理器(graphics processing unit，GPU)进行迭代训练，并且迭代训练过程中，参数服务器与工作服务器之间需要进行大量的模型参数以及梯度的传输，CPU与GPU之间的数据传输量较大，这就导致整个训练过程耗时较长，硬件资源利用率较低。

发明内容

本公开提供一种模型参数训练方法、服务器、系统及存储介质，以至少解决相关技术中，预测模型的参数训练耗时较长的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种预测模型的参数训练方法，应用于分布式系统的工作服务器，包括：获取当前批次的训练样本对应的当前嵌入参数；从工作服务器中获取工作服务器当前存储的网络参数；基于当前批次的训练样本，对当前嵌入参数以及工作服务器当前存储的网络参数进行迭代训练，以得到嵌入参数梯度以及网络参数梯度；基于嵌入参数梯度，更新当前嵌入参数，并向参数服务器同步更新后的嵌入参数；基于网络参数梯度，更新工作服务器当前存储的网络参数。

上述当前嵌入参数为预先存储在工作服务器中的，上述参数训练方法还包括：在工作服务器当前存储的嵌入参数中包括当前嵌入参数的部分嵌入参数的情况下，从参数服务器中获取差异嵌入参数，并存储差异嵌入参数；差异嵌入参数包括当前嵌入参数除部分嵌入参数之外的嵌入参数；

或者，在工作服务器当前存储的嵌入参数不包括当前嵌入参数的情况下，从参数服务器中获取当前嵌入参数，并存储当前嵌入参数。

可选的，在上述当前批次为首个批次的情况下，在从工作服务器中获取工作服务器当前存储的网络参数之前，上述参数训练方法还包括：接收并存储来自参数服务器的预测模型的网络参数。

可选的，在当前批次为除首个批次以外的其他批次的情况下，在从工作服务器中获取工作服务器当前存储的网络参数之前，上述参数训练方法还包括：

对多个历史网络参数梯度进行合并处理，并存储合并处理得到的网络参数；多个历史网络参数梯度包括基于当前批次的上一批次的训练样本训练得到的网络参数梯度。

可选的，上述参数训练方法还包括：在对当前嵌入参数以及工作服务器当前存储的网络参数进行迭代训练的过程中，获取下一批次的训练样本，并基于下一批次的训练样本，获取下一批次的训练样本对应的嵌入参数。

可选的，上述参数训练方法还包括：