[发明专利]任务调度方法、计算机设备及存储介质

说明书

本发明实施例公开了一种任务调度方法、计算机设备及存储介质。该方法包括：获取待调度任务，并确定所述待调度任务的目标资源需求；遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。上述任务调度方案适用于大规模异构并行集群，能够对集群资源进行更加精细的调度管理，提高了集群的整体运行效率。

技术领域

本发明实施例涉及任务调度技术领域，尤其涉及一种任务调度方法、计算机设备及存储介质。

背景技术

随着大数据技术的普及，现代集群的规模越来越大，集群中运行任务的种类越来越多，运行的周期越来越长。在集群的整个生命周期中，集群中机器硬件可能存在差异，并非是单一同构的，而且在同一集群上运行混合负载也成为一种趋势。

一般来讲，任务调度指的是为任务进行资源分配。在传统的应用场景中，集群机器和运行任务都是单一同构的，调度粒度较粗，通常是基于内存或CPU(Central ProcessingUnit，中央处理器)将主机资源切分为一个或多个分组，组与组之间并没有能力上的差别，然后以组为单位进行资源调度。出于性能考虑，传统的任务调度方法也会在调度过程进行一些简单的约束，例如，Yarn会优先将任务调度到存放相应数据的机器上，Spark执行任务时会尽量将后序子任务调度到前序子任务输出数据所在的机器上。但总体来讲，传统调度方法所使用的约束条件比较简单，仅能考虑诸如靠近存储节点、节点有无GPU(GraphicsProcessing Unit，图形处理器)之类的简单约束。

如今大规模异构并行集群需要考虑的资源不再局限于CPU、磁盘、内存等，不同集群机器之间资源也有较大差异，目前仅使用通用简单约束的任务调度方法已不再适用于当下复杂的应用场景。因此，如何实现适用于大规模异构并行集群的任务调度是亟待解决的问题。

发明内容

本发明实施例提供一种任务调度方法、计算机设备及存储介质，以适用于大规模异构并行集群，提高对集群资源调度管理的精细程度。

第一方面，本发明实施例提供了一种任务调度方法，包括：

获取待调度任务，并确定所述待调度任务的目标资源需求；

遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；

在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。

第二方面，本发明实施例还提供了一种任务调度装置，包括：

待调度任务获取并分析模块，设置为获取待调度任务，并确定所述待调度任务的目标资源需求；

资源分配候选子图生成模块，设置为遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；

待调度任务资源分配模块，设置为在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当计算机程序执行时使得处理器执行以下操作：

获取待调度任务，并确定所述待调度任务的目标资源需求；