[发明专利]任务处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种任务处理方法、装置、计算机设备和存储介质。所述方法包括：获取至少一个待执行任务和对应的属性信息；输入各个待执行任务和对应的属性信息至已训练的资源预测模型，输出至少一个候选资源信息，候选资源信息包括候选资源类型和对应的候选占用时长；获取多个数据中心的当前资源信息；根据各个待执行任务的候选资源信息和各个当前资源信息，确定各个待执行任务的目标资源信息。通过资源预测模型对待执行任务的资源进行预测，得到对应的预测信息，匹配预测信息和当前资源信息，得到目标资源信息，在目标资源信息对应的数据中心执行待执行任务，保证了资源分配的合理性，从而提高了数据处理效率和资源利用率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种任务处理方法、装置、计算机设备和存储介质。

背景技术

较复杂的深度学习模型需要使用不同型号、规模以及网络配置的GPU或CPU集群进行训练，通常在单一数据中心中可供调度的不同类别的GPU或CPU资源总量有限，而在训练时跨数据中心实时读取大批量数据会较大影响模型训练效率。

目前方法主要通过全局任务调度中心提供统一入口，并筛选出符合任务要求的数据中心运行的方法；即所有的任务采用同一个调度模块进行调度，调度时是根据各个任务对应的资源都是通过人为指定的，而人为指定资源与技术人员的经验有关，难以保证指定的资源分配的合理性。

发明内容

为了解决上述技术问题，本申请提供了一种任务处理方法、装置、计算机设备和存储介质。

第一方面，本申请提供了一种任务处理方法，包括：

获取至少一个待执行任务和对应的属性信息，待执行任务为深度学习任务；

输入各个待执行任务和对应的属性信息至已训练的资源预测模型，输出各个待执行任务的至少一个候选资源信息，候选资源信息包括候选资源类型和对应的候选占用时长；

获取多个数据中心的当前资源信息，当前资源信息包括当前资源类型和对应的当前占用时长；

根据各个待执行任务的候选资源信息和各个当前资源信息，确定各个待执行任务的目标资源信息。

第二方面，本申请提供了一种任务处理装置，包括：

数据获取模块，用于获取至少一个待执行任务和对应的属性信息，待执行任务为深度学习任务；

资源预测模块，用于输入各个待执行任务和对应的属性信息至已训练的资源预测模型，输出各个待执行任务的至少一个候选资源信息，候选资源信息包括候选资源类型和对应的候选占用时长；

数据中心资源获取模块，用于获取多个数据中心的当前资源信息，当前资源信息包括当前资源类型和对应的当前占用时长；

目标资源确定模块，用于根据各个待执行任务的候选资源信息和各个当前资源信息，确定各个待执行任务的目标资源信息。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取至少一个待执行任务和对应的属性信息，待执行任务为深度学习任务；

输入各个待执行任务和对应的属性信息至已训练的资源预测模型，输出各个待执行任务的至少一个候选资源信息，候选资源信息包括候选资源类型和对应的候选占用时长；

获取多个数据中心的当前资源信息，当前资源信息包括当前资源类型和对应的当前占用时长；

根据各个待执行任务的候选资源信息和各个当前资源信息，确定各个待执行任务的目标资源信息。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：