[发明专利]一种基于集群的任务调度处理方法、系统和计算机设备

权利要求书

1.一种基于集群的任务调度处理方法，其特征在于，包括：

根据第一时间周期从集群中获取任务开始时间在上一周期内的所有历史任务数据，并将任务数据存储到数据库中；

根据第二时间周期从数据库中调取任务数据进行分析；

使用任务调度计算模型进行任务调度参数优化计算，以更新所述集群的任务调度策略。

2.根据权利要求1所述的任务调度处理方法，其特征在于，所述第一时间周期和第二时间周期的周期时长相同，但时间节点间隔预定时长。

3.根据权利要求1所述的任务调度处理方法，其特征在于，所述从数据库中调取任务数据进行分析包括：

计算任务的资源使用值或资源浪费值。

4.根据权利要求1所述的任务调度处理方法，其特征在于，所述从数据库中调取任务数据进行分析包括：

计算任务所占用的物理内存值。

5.根据权利要求1所述的任务调度处理方法，其特征在于，所述从数据库中调取任务数据进行分析包括计算任务的数据倾斜度和/或任务的执行时间倾斜度。

6.根据权利要求1所述的任务调度处理方法，其特征在于，所述使用所述任务调度计算模型进行调整参数的优化计算，以更新任务调度策略包括：

根据所计算的任务资源使用值或资源浪费值、数据倾斜度、执行时间倾斜度和所占用的物理内存值，进一步计算与任务资源使用、数据倾斜、所占用的物理内存相对应的调整值；

根据所计算的各调整值，更新任务调度策略。

7.根据权利要求1所述的任务调度处理方法，其特征在于，还包括：

接收待执行任务的申请请求，使用任务调度计算模型确定与该待执行任务相对应的调度策略，以执行所述待执行任务。

8.根据权利要求7所述的任务调度处理方法，其特征在于，所述调度策略包括任务的执行开始时间、执行结束时间、执行模块和执行节点。

9.一种基于集群的任务调度处理系统，其特征在于，包括：

数据获取模块，用于根据第一时间周期从集群中获取任务开始时间在上一周期内的所有历史任务数据，并将任务数据存储到数据库中；

分析处理模块，根据第二时间周期从数据库中调取任务数据进行分析；

更新模块，使用任务调度计算模型进行任务调度参数优化计算，以更新所述集群的任务调度策略。

10.根据权利要求9所述的任务调度处理系统，其特征在于，所述第一时间周期和第二时间周期的周期时长相同，但时间节点间隔预定时长。

11.根据权利要求9所述的任务调度处理系统，其特征在于，还包括第一计算模块，所述计算模块用于计算任务的资源使用值或资源浪费值。

12.根据权利要求9所述的任务调度处理系统，其特征在于，还包括第二计算模块，该第二计算模块用于计算任务所占用的物理内存值。

13.根据权利要求9所述的任务调度处理系统，其特征在于，所述从数据库中调取任务数据进行分析包括计算任务的数据倾斜度和/或任务的执行时间倾斜度。

14.根据权利要求9所述的任务调度处理系统，其特征在于，所述使用所述任务调度计算模型进行调整参数的优化计算，以更新任务调度策略包括：

根据所计算的任务资源使用值或资源浪费值、数据倾斜度、执行时间倾斜度和所占用的物理内存值，进一步计算与任务资源使用、数据倾斜、所占用的物理内存相对应的调整值；

根据所计算的各调整值，更新任务调度策略。