[发明专利]任务分配方法、装置、存储介质、设备及分布式任务系统

说明书

技术领域

本公开涉及互联网技术领域，具体地，涉及一种任务分配方法、装置、存储介质、设备及分布式任务系统。

背景技术

分布式任务系统通常由主节点、多个分节点以及至少一个客户端组成，其中，不同分节点之间的资源(CPU资源、图形处理器(Graphics Processing Unit，GPU)资源、内存资源、硬盘资源等)配置可能会有所不同，并且在主节点上存储有各分节点的资源配置信息。在主节点进行任务分配时，通常是先将任务不断地添加到主节点的任务队列中，主节点从任务队列中取出待分配任务，并通过遍历各分节点的资源配置信息来查找能够满足该待分配任务所需的资源的分节点，直到找到相应的分节点将该待分配任务分配出去为止，然后再接着分配任务队列中的其他任务。也就是说，当查询不到能够满足该待分配任务所需的所有资源的分节点时，主节点会一直遍历该各分节点的资源配置信息，即使任务队列中的其他任务所需的资源有分节点能够满足时，这些其他任务也不能被分配出去，即发生了任务阻塞。如果不对任务阻塞加以控制，会使得分布式任务系统的任务并发处理能力和各分节点的资源利用率大大降低。

发明内容

为了解决相关技术中存在的问题，本公开的目的是提供一种任务分配方法、装置、存储介质、设备及分布式任务系统。

为了实现上述目的，本公开提供一种任务分配方法，所述方法应用于分布式任务系统中的主节点，所述方法包括：

从待分配队列中确定当前待分配任务，其中，所述主节点将接收到的客户端提交的任务添加至所述待分配队列中；

根据所述当前待分配任务所需的资源，按照预设的第一遍历次数遍历所述主节点上的各分节点的资源配置信息，以确定是否存在能够满足所述当前待分配任务所需的资源的分节点；

当确定不存在能够满足所述当前待分配任务所需的资源的分节点时，将所述当前待分配任务从所述待分配队列转移至等待资源队列，以使该任务在所述等待资源队列中等待分配。

可选地，所述方法还包括：

在所述等待资源队列中的任务总数未达到预设的等待任务数量阈值时，根据所述待分配队列中已分配任务的数量n、以及与所述等待资源队列的上次任务分配时机之间的时间间隔τ，确定是否再次到达所述等待资源队列的任务分配时机；

在所述等待资源队列中的任务总数已达到所述等待任务数量阈值，或者确定再次到达所述等待资源队列的任务分配时机时，按照所述等待资源队列中各任务的选取参考值由大到小的顺序，在所述等待资源队列中进行轮询，其中，所述选取参考值用于表征对应任务被成功分配的概率；

根据当前轮询到的任务所需的资源，按照预设的第二遍历次数遍历所述主节点上的各分节点的资源配置信息，以确定是否存在能够满足所述当前轮询到的任务所需的资源的分节点；

当确定存在能够满足所述当前轮询到的任务所需的资源的分节点时，将所述当前轮询到的任务分配给该分节点，并结束轮询；

在结束轮询后，将n和τ置零，并返回所述从待分配队列中确定当前待分配任务的步骤。

可选地，所述方法还包括：

当确定不存在能够满足所述当前轮询到的任务所需的资源的分节点时，继续轮询，直到所述等待资源队列中有任务被成功分配、或有任务因超时被删除为止。

可选地，所述根据所述待分配队列中已分配任务的数量n、以及与所述等待资源队列的上次任务分配时机之间的时间间隔τ，确定是否再次到达所述等待资源队列的任务分配时机，包括：

当n＜N_max且τ＜τ_max时，确定尚未再次到达所述等待资源队列的任务分配时机，其中，N_max为预设的任务分配数量阈值，τ_max为预设的时间间隔阈值；

当n≥N_max或τ≥τ_max时，确定再次到达所述等待资源队列的任务分配时机。

可选地，所述等待资源队列中各任务的选取参考值通过以下公式来确定：