[发明专利]模型训练系统的调度方法、电子设备和介质

说明书

本说明书实施方式提供了一种模型训练系统的调度方法、电子设备和介质。所述方法接收多个工作服务器发出的参数获取任务启动请求；其中，所述参数获取任务启动请求表示相应的工作服务器请求执行参数获取任务；其中，工作服务器通过执行所述参数获取任务从参数服务器获取所训练的模型的模型参数；向所述多个工作服务器发出任务启动指令，以指示接收到所述任务启动指令的工作服务器启动执行参数获取任务。可以提升机器学习模型的训练效率。

技术领域

本说明书中实施方式涉及人工智能技术领域，具体涉及一种模型训练系统的调度方法、电子设备和介质。

背景技术

随着科学发展和社会进步，人工智能得到了广泛的使用。

现有技术中，机器学习模型是人工智能的重要组成部分。通常，在得到一个可以应用于具体场景的机器学习模型之前，都需要进行大量的模型训练工作，如此，才能够使得机器学习模型满足使用需要。

为了提升机器学习模型的训练效率，开发出了机器学习模型训练系统。具体的，例如，可以使用PS-Worker架构(PS-Worker，parameter server–Worker，参数服务器-工作服务器分布式训练架构)，建立机器学习模型训练系统。PS-Worker架构下，可以设置多个服务器形成服务器集群。服务器集群中的节点可以被分为两类：参数服务器(parameterserver)和工作服务器(worker)。其中，参数服务器存放模型的参数，而工作服务器负责计算参数的梯度。在每个迭代过程，工作服务器从参数服务器中获得参数，然后将计算的梯度返回给参数服务器，参数服务器聚合从工作服务器传回的梯度，然后更新参数，并将新的参数广播给工作服务器。

在一些情况下，工作服务器可能需要从多个参数服务器取得模型参数，一个参数服务器可能会需要向多个工作服务器提供模型参数。如此，如何调度参数服务器和工作服务器之间的交互过程，对于机器学习模型的训练效率有较大的影响。

发明内容

本说明书中多个实施方式提供一种模型训练系统的调度方法、电子设备和介质。可以一定程度上，提升机械学习模型的训练效率。

本说明书的一个实施方式提供一种模型训练系统的调度方法，应用于调度服务器，所述方法包括：接收多个工作服务器发出的参数获取任务启动请求；其中，所述参数获取任务启动请求表示相应的工作服务器请求执行参数获取任务；其中，工作服务器通过执行所述参数获取任务从参数服务器获取所训练的模型的模型参数；向所述多个工作服务器发出任务启动指令，以指示接收到所述任务启动指令的工作服务器启动执行参数获取任务。

本说明书的一个实施方式提供一种模型训练系统的调度方法，应用于工作服务器，所述方法包括：向调度服务器发送参数获取任务启动请求，以请求启动执行参数获取任务；其中，所述参数获取任务用于从参数服务器获取所训练的模型的模型参数；在接收到所述调度服务器反馈的任务启动指令的情况下，启动执行所述参数获取任务。

本说明书的一个实施方式提供一种模型训练系统的调度方法，应用于调度服务器，所述方法包括：接收多个工作服务器发出的训练任务启动请求；其中，所述任务启动请求表示相应的工作服务器请求执行模型训练任务；向多个参数服务器下达依照指定顺序向工作服务器发送模型参数的参数发送指令，以指示多个参数服务器分别依照指定顺序向工作服务器发送模型参数。

本说明书的一个实施方式提供一种模型训练系统的调度方法，应用于工作服务器，所述方法包括：向调度服务器发出训练任务启动请求，以用于所述调度服务器向多个参数服务器下达向所述工作服务器发送模型参数的参数发送指令；接收从所述多个参数服务器发出的模型参数。

本说明书的一个实施方式提供一种电子设备，所述电子设备包括：存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现前述所述的多元组数据标注方法，或者使所述一个或多个处理器实现前述所述的多元组数据标注模型的训练方法。