[发明专利]一种基于Hadoop集群任务调度方法及计算机设备

说明书

本发明提供一种基于Hadoop集群任务调度方法，包括如下步骤：步骤10、设定业务有N个优先级，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数；步骤20、设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数，每间隔时间按优先级高低顺序去调度队列调度任务；步骤30、按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度；步骤40、对运行失败的任务和超过预定最大运行时间的任务重新入原先优先级队列排队调度。本发明还提供一种计算机设备，实现任务的优先级分组、排队调度、路由策略和故障转移，极大的提高集群任务调度效率。

技术领域

本发明涉及计算机分布式系统数据处理领域，尤其涉及一种基于Hadoop集群任务调度方法及计算机设备。

背景技术

随着业务不断增加，基于Hadoop的大数据平台处理的任务越来越多，现有的基于Hadoop集群的大数据平台可以把任务拆分到集群节点进行分布式处理，但是没有对任务进行优先级区分调度以及并发数量控制。由于任意任务都能得到调度，受限于集群软硬件资源存在瓶颈，使任务扎堆抢不到资源调度，导致一些业务优先级高的业务延迟或者失败，一些低优先级任务一直调度，集群处理效率低。

发明内容

本发明要解决的技术问题之一，在于提供一种基于Hadoop集群任务调度方法，实现任务的优先级分组、排队调度、路由策略和故障转移，极大的提高集群任务调度效率。

本发明要解决的技术问题之一是这样实现的：一种基于Hadoop集群任务调度方法，包括如下步骤：

步骤10、设定业务有N个优先级，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数；

步骤20、设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数，每间隔时间按优先级高低顺序去调度队列调度任务，队列调度的原则为：每一优先级队列调度的任务数不超过该优先级的队列最大任务并发数，且每次调度任务总数不超过系统最大任务并发数；

步骤30、按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度；

步骤40、对运行失败的任务重新入原先优先级队列排队调度，并对每一个任务定义一个最大运行时间，对于超过最大运行时间的任务暂停并重新入原先优先级队列排队调度。

进一步的，所述优先级按数值从小到大降序。

进一步的，所述系统最大任务并发数根据集群硬件资源计算得到的，使得集群并行处理时每一任务得到合理调度。

进一步的，所述步骤30中均衡分配的方式具体为：排队任务是按照优先级从高到低的配到空闲队列；只有高优先级没有排队任务，才开始分配低优先级的排队任务；新分配的任务个数取决于空闲队列个数；同一有优先级排队任务，按照入队先后顺序进入不同空闲队列，时间越早先进入优先级高的队列运行。

进一步的，所述步骤40中的运行失败的任务和暂停的任务直接选择配置放弃。

本发明要解决的技术问题之二，在于提供一种计算机设备，实现任务的优先级分组、排队调度、路由策略和故障转移，极大的提高集群任务调度效率。

本发明要解决的技术问题之二是这样实现的：一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

步骤10、设定业务有N个优先级，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数；