[发明专利]实现任务调度的方法、装置及系统

权利要求书

1.一种实现任务调度的方法，包括：

获取客户端提交的目标数据处理任务、及所述目标数据处理任务的运行参数；

获取可用计算集群的资源使用信息；

根据所述目标数据处理任务的运行参数和所述可用计算集群的资源使用信息，从所述可用计算集群中选取目标计算集群；

将所述目标数据处理任务调度至所述目标计算集群中运行。

2.根据权利要求1所述的方法，其中，

该方法还包括：获取后端计算集群的注册信息，完成计算集群的注册；

所述可用计算集群为已注册的计算集群。

3.根据权利要求1所述的方法，所述根据所述目标数据处理任务的运行参数和所述可用计算集群的资源使用信息，从所述可用计算集群中选取目标计算集群包括：

根据所述目标数据处理任务的运行参数，从所述可用计算集群中选取剩余资源大于或等于运行所述目标数据处理任务所需的资源的可用计算集群，作为备选计算集群；

根据所述资源使用信息，从所述备选计算集群中选取所述目标计算集群。

4.根据权利要求3所述的方法，所述根据所述资源使用信息，从所述备选计算集群中选取所述目标计算集群包括：

从所述备选计算集群中，选取剩余资源最大的一个，作为所述目标计算集群。

5.根据权利要求3所述的方法，所述根据所述资源使用信息，从所述备选计算集群中选取所述目标计算集群包括：

从所述备选计算集群中，选取已使用资源最多的一个，作为所述目标计算集群。

6.根据权利要求3所述的方法，所述根据所述资源使用信息，从所述备选计算集群中选取所述目标计算集群包括：

基于预设的集群评分模型，根据所述资源使用信息和所述运行参数，确定每一所述备选计算集群的评分；

根据所述评分选取所述目标计算集群。

7.根据权利要求6所述的方法，还包括训练所述集群评分模型的步骤，包括：

根据历史任务调度信息获取训练样本集；其中，所述训练样本集中的每一样本包括：影响计算集群运行数据处理任务的多个选定特征；

基于预设的机器学习算法，根据所述训练样本集进行机器学习训练，得到所述集群评分模型。

8.一种实现任务调度的装置，包括：

任务参数获取模块，用于获取客户端提交的目标数据处理任务、及所述目标数据处理任务的运行参数；

资源信息获取模块，用于获取可用计算集群的资源使用信息；

计算集群选取模块，用于根据所述目标数据处理任务的运行参数和所述可用计算集群的资源使用信息，从所述可用计算集群中选取目标计算集群；

处理任务调度模块，用于将所述目标数据处理任务调度至所述目标计算集群中运行。

9.一种包括至少一个计算装置和至少一个存储装置的系统，其中，所述至少一个存储装置用于存储指令，所述指令用于控制所述至少一个计算装置执行根据权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如权利要求1至7中任一项所述的方法。