[发明专利]一种Hadoop集群管理任务的分发方法和系统

说明书

本发明公开了一种Hadoop集群管理任务的分发方法及装置。所述方法首先根据Hadoop组件的依赖关系对管理任务进行阶段规划，然后依次处理每一阶段中的管理任务，将同一阶段内配往同一组件节点的管理任务规划为一个子阶段；然后当进入一个调度周期后，扫描当前待调度的所有子阶段，并对其进行排序。最后根据预设筛选条件按照排序后的子阶段从前到后的顺序依次判断当前子阶段是否适合在当前调度周期内进行任务分发。在该分发方法中，子阶段作为最小的调度单元，并且同一个子阶段内部以及同一父阶段内的子阶段之间能够并行执行。本发明能够实现在更细粒度上并行分发任务。而且，本发明提供的方法能够提高任务分发的吞吐量，进而提高Hadoop集群管理的效率。

技术领域

本发明涉及计算机集群技术领域，尤其涉及一种Hadoop集群管理任务的分发方法和系统。

背景技术

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop主要包括HDFS、MapReduce2、YARN、Hbase等核心服务，每个服务又包括多个服务组件，如HBase服务包括HBaseMaster、Region Server等组件。

Hadoop集群是指部署有Hadoop相关服务组件的一组计算机，这些计算机通过组件间的相互协作对外提供服务。

Hadoop集群包括HDFS、MapReduce2、YARN、Hbase等核心服务，每个服务又包括多个服务组件，如HBase服务包括HBaseMaster、Region Server等组件。这些组件离散分布于集群节点中，如此，就为多个组件的并发管理提供了可能，然而，由于Hadoop组件间存在一定的依赖关系，因此就要求针对部分组件的并发管理具有一定的时序安排。如何在保证组件依赖关系的基础上最大限度地并发管理集群中的组件，是Hadoop集群领域中的研究热点。

目前，Hadoop集群管理任务分发方法大多基于组件的依赖关系定义多个管理任务进行阶段规划，即<管理操作、阶段>二级定义，阶段在逻辑上保证组件依赖关系的有效性，同时也是最小的调度单元。其判别条件为：只要待筛选的阶段中存在某个任务其所派发的目的节点已有其它阶段中的任务，即放弃该阶段在本次调度周期内的调度。因此，在使用该判别条件筛选时，阶段间互斥率较高，导致每个调度周期可并发的阶段数量较少，进而导致任务并发吞吐不高。

发明内容

有鉴于此，本发明提供了一种Hadoop集群管理任务的分发方法和系统，以提高任务分发的吞吐量。

为了解决上述技术问题，本发明采用了如下技术方案：

一种Hadoop集群管理任务的分发方法，包括：

接收来自用户的管理操作命令，并验证所述管理操作命令的有效性；

当所述管理操作命令有效时，解析所述管理操作命令，以生成管理任务集合；所述管理任务集合至少包括一个管理任务；

根据预先定义的Hadoop组件的依赖关系对所述管理任务集合内的管理任务进行阶段规划；其中，在阶段规划中，将能够并行执行的管理任务规划到同一阶段，将执行有先后顺序的管理任务规划到不同阶段；

依次处理每一阶段中的管理任务，将同一阶段内配往同一目标组件节点的管理任务规划为一个子阶段，形成<管理操作、阶段、子阶段>的三级层级的规划数据；

当进入一个调度周期后，扫描当前待调度的子阶段，并依据<管理操作、阶段、子阶段>的层级对所有待调度的子阶段进行排序；

根据预设筛选条件按照排序后的子阶段从前到后的顺序依次判断当前子阶段是否适合在当前调度周期内进行任务分发；如果当前子阶段适合在当前调度周期内进行任务分发，并且该当前子阶段所属管理操作之前分发的管理任务没有失败，则将当前子阶段中的所有管理任务进行分发；