[发明专利]模型训练方法、装置以及计算机设备

说明书

本发明公开了一种模型训练方法，该方法包括：获取训练数据，将所述训练数据划分为多个数据分片，所述多个数据分片至少包括第一数据分片和第二数据分片；拉取第一训练模型；根据所述第一数据分片对所述第一训练模型执行训练得到对应的第一训练参数，以及根据所述第二数据分片对所述第一训练模型执行训练得到第二训练参数；依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型。本发明还提供一种模型训练装置、计算机设备以及计算机可读存储介质。本发明能够通过将训练数据划分为多个数据分片，然后同时进行训练，并将训练参数依次对训练模型进行优化，从而提高模型训练速度。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种模型训练方法、装置、计算机设备及计算机可读存储介质。

背景技术

当前在广告营销、推荐、搜索等诸如类似场景中，普遍采用在线学习的线上模型训练方式。比如，当出现新的网络用语或者热词，在线学习模型能够快速学习到网络用语或者热词，为模型不断积累新的特征，然后在接收到用户的搜索关键字时才能够识别并精确反馈结果。

然而，在线学习是一个不断迭代的过程，模型累积的特征会越来越多。随着模型特征集中包含的特征越来越多，规模越来越大，导致模型训练的数据量大大增加，降低了模型训练速度。

发明内容

有鉴于此，本发明提出一种模型训练方法、装置、计算机设备及计算机可读存储介质，能够解决上述的模型训练速度慢的问题。

首先，为实现上述目的，本发明提供一种模型训练方法，所述方法包括：

获取训练数据，将所述训练数据划分为多个数据分片，所述多个数据分片至少包括第一数据分片和第二数据分片；拉取第一训练模型；根据所述第一数据分片对所述第一训练模型执行训练得到对应的第一训练参数，以及根据所述第二数据分片对所述第一训练模型执行训练得到第二训练参数；依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型。

在一个例子中，将所述训练数据划分为第一数据分片和第二数据分片包括：获取所述训练数据的采集时间，根据时间先后顺序将所述训练数据进行排列；将排列在前的训练数据归类为第一数据分片，并将排列在后的训练数据归类为第二数据分片。

在一个例子中，所述第一训练模型至少包括第一模型分片和第二模型分片，所述拉取第一训练模型包括：从多个模型服务器上拉取所述训练模型的所有模型分片，所述多个模型服务器至少包括第一模型服务器和第二模型服务器，每个模型服务器上存储至少一个模型分片。

在一个例子中，每个模型分片至少包括一个特征数据，且设置有哈希签名，所述哈希签名是根据所述模型分片计算出的哈希值进行设置的。

在一个例子中，所述训练参数为计算梯度，所述依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型包括：根据第一计算梯度对所述第一训练模型中的每个特征数据的权重值进行更新，得到第三训练模型；根据第二计算梯度对所述第三训练模型中的每个特征数据的权重值进行更新，得到第二训练模型。

在一个例子中，所述方法还包括：记录特征数据进行权重值更新的更新时间；计算所述更新时间与当前时间的时间差；当所述时间差大于或等于预设的时间阈值时，则将所述特征数据从所述第二训练模型中剔除。

此外，为实现上述目的，本发明还提供一种模型训练装置，所述装置包括：

获取模块，用于获取训练数据，将所述训练数据划分为至少包括第一数据分片和第二数据分片的多个数据分片；拉取模块，用于拉取第一训练模型；训练模块，用于根据所述第一数据分片对所述第一训练模型执行训练得到对应的第一训练参数，以及根据所述第二数据分片对所述第一训练模型执行训练得到第二训练参数；更新模块，用于依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型。