[发明专利]任务调度方法、装置、电子设备、存储介质及产品

说明书

本申请提供一种任务调度方法、装置、电子设备、存储介质及产品，涉及数据分析技术领域。该方法应用于调度器，包括：获取目标任务集和包含多个节点的节点集群；其中，目标任务集包含多个待调度任务；确定与预先建立的资源成本模型对应的目标函数，并根据改进蚁群算法，确定与目标函数取最小值时对应的最优解；根据最优解，在节点集群中确定多个待调度任务匹配的调度节点，并将多个待调度任务分配给调度节点。上述方式能够保证在任务调度时降低节点集群的资源成本。

技术领域

本申请涉及数据分析技术领域，尤其涉及一种任务调度方法、装置、电子设备、存储介质及产品。

背景技术

随着数据量的激增，大数据、云计算的技术和组件也层出不穷，变得越来越丰富，比如批处理组件(Hive、Spark)、流处理组件(Storm、Spark Streaming、Flink Stream)等。越来越多的人开始关注由于集群的任务调度的异同，导致的成本问题。该任务调度是指在特定的限制下对任务按计算和资源分配进行调度的一个过程。该过程可以被视为任务放置和资源之间的映射，具体体现在特定的优化目标。

以分布式集群(例如Dolphin集群)为例，在分布式集群环境下进行任务调度时，由于分布式集群下各节点的性能不同，以及分布式集群中的节点能力和网络带宽的不同，分布式集群中节点的资源在每个时刻所承受的负载变化很大。目前Dolphin集群所采用的调度器自身部署有以下三种算法：随机调度算法、轮询调度算法和机器资源权重算法。大量的任务在不同的调度方式下，其放置位置也有所不同。

上述随机调度算法负载均衡能力差。与随机调度算法相比，轮询调度算法虽然在一定程度上能够使任务分布的更加均匀，但是其存在集群整体的资源成本高的弊端。而机器资源权重算法是基于资源调度和负载均衡的目标进行的优化，可能无法利用到成本较低的节点，因此现有技术存在资源利用不合理，资源成本开销大的技术问题。

发明内容

本申请提供了一种任务度方法、装置、电子设备、存储介质及产品，用以解决资源成本开销大的问题。

根据本申请的第一方面，提供了一种任务调度方法，应用于调度器，包括：

获取目标任务集和包含多个节点的节点集群；其中，所述目标任务集包含多个待调度任务；

确定与预先建立的资源成本模型对应的目标函数，并根据改进蚁群算法，确定与所述目标函数取最小值时对应的最优解；

根据所述最优解，在所述节点集群中确定所述多个待调度任务匹配的调度节点，并将所述多个待调度任务分配给所述调度节点。

可选地，建立所述资源成本模型，包括：

针对所述节点集群中的每个节点，获取所述节点的资源单价和所述节点执行对应待调度任务所需的资源使用时间；

根据所述节点的资源单价和所述资源使用时间建立资源成本模型。

可选地，所述根据所述节点的资源单价和所述资源使用时间建立资源成本模型，包括：

针对所述节点集群中的每个节点，将所述节点的资源单价和所述资源使用时间的乘积结果确定为所述节点执行对应待调度任务的资源成本；

确定用于对所有所述节点执行对应待调度任务的资源成本进行累加计算的公式，并将所述公式确定为资源成本模型。

可选地，所述节点包括中央处理器和内存，所述资源使用时间包括中央处理器使用时间和内存使用时间；

将所述节点的资源单价和所述资源使用时间的乘积结果确定为所述节点执行对应待调度任务的资源成本，包括：

将所述中央处理器的资源单价和所述中央处理器使用时间的乘积结果确定为所述节点执行对应待调度任务的中央处理器资源成本；