[发明专利]一种基于Hadoop集群任务调度方法及计算机设备

摘要

本发明提供一种基于Hadoop集群任务调度方法，包括如下步骤：步骤10、设定业务有N个优先级，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数；步骤20、设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数，每间隔时间按优先级高低顺序去调度队列调度任务；步骤30、按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度；步骤40、对运行失败的任务和超过预定最大运行时间的任务重新入原先优先级队列排队调度。本发明还提供一种计算机设备，实现任务的优先级分组、排队调度、路由策略和故障转移，极大的提高集群任务调度效率。

主权项

1.一种基于Hadoop集群任务调度方法，其特征在于：包括如下步骤：步骤10、设定业务有N个优先级，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数；步骤20、设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数，每间隔时间按优先级高低顺序去调度队列调度任务，队列调度的原则为：每一优先级队列调度的任务数不超过该优先级的队列最大任务并发数，且每次调度任务总数不超过系统最大任务并发数；步骤30、按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度；步骤40、对运行失败的任务重新入原先优先级队列排队调度，并对每一个任务定义一个最大运行时间，对于超过最大运行时间的任务暂停并重新入原先优先级队列排队调度。