[发明专利]一种基于Hadoop集群任务调度方法及计算机设备

权利要求书

1.一种基于Hadoop集群任务调度方法，其特征在于：包括如下步骤：

步骤10、设定业务有N个优先级，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数；

步骤20、设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数，每间隔时间按优先级高低顺序去调度队列调度任务，队列调度的原则为：每一优先级队列调度的任务数不超过该优先级的队列最大任务并发数，且每次调度任务总数不超过系统最大任务并发数；

步骤30、按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度；所述步骤30中均衡分配的方式具体为：排队任务是按照优先级从高到低的配到空闲队列；只有高优先级没有排队任务，才开始分配低优先级的排队任务；新分配的任务个数取决于空闲队列个数；同一有优先级排队任务，按照入队先后顺序进入不同空闲队列，时间越早先进入优先级高的队列运行；

步骤40、对运行失败的任务重新入原先优先级队列排队调度，并对每一个任务定义一个最大运行时间，对于超过最大运行时间的任务暂停并重新入原先优先级队列排队调度。

2.根据权利要求1所述的一种基于Hadoop集群任务调度方法，其特征在于：所述优先级按数值从小到大降序。

3.根据权利要求1所述的一种基于Hadoop集群任务调度方法，其特征在于：所述系统最大任务并发数根据集群硬件资源计算得到的，使得集群并行处理时每一任务得到合理调度。

4.根据权利要求1所述的一种基于Hadoop集群任务调度方法，其特征在于：所述步骤40中的运行失败的任务和暂停的任务直接选择配置放弃。

5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

步骤10、设定业务有N个优先级，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数；

步骤20、设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数，每间隔时间按优先级高低顺序去调度队列调度任务，队列调度的原则为：每一优先级队列调度的任务数不超过该优先级的队列最大任务并发数，且每次调度任务总数不超过系统最大任务并发数；

步骤30、按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度；所述步骤30中均衡分配的方式具体为：排队任务是按照优先级从高到低的配到空闲队列；只有高优先级没有排队任务，才开始分配低优先级的排队任务；新分配的任务个数取决于空闲队列个数；同一有优先级排队任务，按照入队先后顺序进入不同空闲队列，时间越早先进入优先级高的队列运行；

步骤40、对运行失败的任务重新入原先优先级队列排队调度，并对每一个任务定义一个最大运行时间，对于超过最大运行时间的任务暂停并重新入原先优先级队列排队调度。

6.根据权利要求5所述的一种计算机设备，其特征在于：所述优先级按数值从小到大降序。

7.根据权利要求5所述的一种计算机设备，其特征在于：所述系统最大任务并发数根据集群硬件资源计算得到的，使得集群并行处理时每一任务得到合理调度。

8.根据权利要求5所述的一种计算机设备，其特征在于：所述步骤40中的运行失败的任务和暂停的任务直接选择配置放弃。