[发明专利]任务调度处理方法、装置、集群系统及可读存储介质

说明书

本申请提供一种任务调度处理方法、装置、集群系统及可读存储介质，涉及集群任务处理技术领域。方法包括：获取集群系统中的调度节点发送的作业任务，作业任务为集群系统中的提交节点根据任务参数生成的HPC任务或AI任务；根据作业任务中的表征任务类型的标识，确定作业任务的任务类型；调用与任务类型对应的前处理组件，初始化任务环境，得到用于执行HPC任务或AI任务的运行环境；根据作业任务的任务内容，通过运行环境执行作业任务，得到执行结果，能够改善计算节点执行的任务类型单一，硬件资源利用率低的问题。

技术领域

本发明涉及集群任务处理技术领域，具体而言，涉及一种任务调度处理方法、装置、集群系统及可读存储介质。

背景技术

随着计算机集群处理技术的发展，超级计算机性能越来越高。集群系统通常需要支持高性能计算(High Performance Computing，HPC)任务的计算，还要支持人工智能(Artificial Intelligence，AI)任务的计算。目前，通常是将集群系统的硬件资源划分成面向不同领域的小集群或计算节点。每个小集群或计算节点执行的任务类型单一。例如，用于执行HPC任务的小集群便无法执行AI任务，从而使得集群的硬件资源的利用率低。

发明内容

本申请提供一种任务调度处理方法、装置、集群系统及可读存储介质，能够改善集群中计算节点执行的任务类型单一，硬件资源利用率低的问题。

为了实现上述目的，本申请实施例所提供的技术方案如下所示：

第一方面，本申请实施例提供一种任务调度处理方法，应用于集群系统中的计算节点，所述方法包括：

获取所述集群系统中的调度节点发送的作业任务，所述作业任务为所述集群系统中的提交节点根据任务参数生成的HPC任务或AI任务；

根据所述作业任务中的表征任务类型的标识，确定所述作业任务的任务类型；

调用与所述任务类型对应的前处理组件，初始化任务环境，得到用于执行所述HPC任务或AI任务的运行环境；

根据所述作业任务的任务内容，通过所述运行环境执行所述作业任务，得到执行结果。

在上述的实施方式中，计算节点可以根据任务类型，对任务环境进行前处理，以得到用于执行HPC任务或AI任务的运行环境，然后便可以基于得到的运行环境执行HPC任务或AI任务，从而改善计算节点执行的任务类型单一，硬件资源利用率低的问题。

结合第一方面，在一些可选的实施方式中，调用与所述任务类型对应的前处理组件，初始化任务环境，得到用于执行所述HPC任务或AI任务的运行环境，包括：

当所述作业任务为HPC任务时，调用与所述HPC任务对应的前处理组件，初始化任务环境，得到用于执行所述HPC任务的运行环境；

当所述作业任务为AI任务时，调用与所述AI任务对应的前处理组件，初始化任务环境，得到用于执行所述AI任务的运行环境。

在上述的实施方式中，针对HPC任务、AI任务，通过分别对任务环境进行前处理，得到相应的运行环境，使得计算节点能够执行不同任务类型的作业任务。

结合第一方面，在一些可选的实施方式中，所述前处理组件包括通用处理组件、AI框架处理组件，调用与所述AI任务对应的前处理组件，初始化任务环境，得到用于执行所述AI任务的运行环境，包括：

调用所述通用处理组件，选择与所述AI任务中的子任务对应的目标硬件资源；

调用所述AI框架处理组件，选择与所述AI任务对应的处理框架、加速器；

根据所述目标硬件资源、所述处理框架、所述加速器，创建用于执行所述子任务的容器，得到用于执行所述AI任务的运行环境。