[发明专利]分布式部署Hadoop集群的方法及装置

说明书

本发明提供了一种分布式部署Hadoop集群的方法及装置，其中，该方法包括：接收用于部署Hadoop集群的模板信息，其中，模板信息用于指示Hadoop集群的任务信息和主机信息，任务信息用于描述需要Hadoop集群完成的任务；根据主机信息采集Hadoop集群的一个或多个主机的参数信息，其中，每个主机用于部署一个或多个组件，组件由代理器部署，用于执行对应的任务；根据任务信息和参数信息对一个或多个组件部署任务。通过本发明，解决了相关技术中由于人为部署Hadoop集群导致操作复杂，部署时间长的问题。

技术领域

本发明涉及通信领域，具体而言，涉及一种分布式部署Hadoop集群的方法及装置。

背景技术

相关技术的Hadoop是一个分布式系统基础架构，是由Apache基金会所开发的分布式基础架构，Hadoop不是一个缩写，而是一个虚构的名字，据称可能与该集群创建者的孩子的一个玩具名字相关，没有实际的意义。Hadoop是一个开发和运行处理大规模数据的软件平台及开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。

相关技术中，分布式部署Hadoop集群的需要管理人员了解Hadoop生态圈及集群内各主机硬件资源情况，对部署Hadoop集群管理人员提出了较高要求，而且容易出错。采用手动配置Hadoop集群，步骤繁琐，效率低下，特别是大规模Hadoop集群环境下，动态扩容和缩容等弹性管理困难。

然而，目前实现Hadoop自动化部署的系统存在以下问题：

在部署Hadoop集群前，根据集群环境软硬件信息及部署的组件，设计Hadoop集群网络拓扑结构；该方案对集群管理人员要求较高，需要集群管理人员熟悉环境软硬件信息和Hadoop生态圈；在没有集群管理人员干预的情况下，自动化部署系统则任意分配Master和Slave等节点，无法合理分配和利用集群硬件及系统负载信息；

Hadoop集群组件版本包下载源单一，导致Hadoop集群部署时间不可控等缺点。

Hadoop集群部署对运维人员提出较高要求，需要其熟悉Hadoop生态圈；了解集群内各节点资源信息；设计Hadoop集群网络拓扑；2、Hadoop集群组件节点分配任意；3、Hadoop集群部署时间较长。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种分布式部署Hadoop集群的方法及装置，以至少解决相关技术中由于人为部署Hadoop集群导致操作复杂，部署时间长的问题。

根据本发明的一个实施例，提供了一种分布式部署Hadoop集群的方法，包括：接收用于部署Hadoop集群的模板信息，其中，所述模板信息用于指示所述Hadoop集群的任务信息和主机信息，所述任务信息用于描述需要所述Hadoop集群完成的任务；根据所述主机信息采集所述Hadoop集群的一个或多个主机的参数信息，其中，每个所述主机用于部署一个或多个组件，所述组件由代理器部署，用于执行对应的任务；根据所述任务信息和所述参数信息对一个或多个所述组件部署任务。

可选地，所述参数信息包括以下至少之一：主机操作系统信息、主机网络信息、主机CPU信息、主机内存信息、主机CPU利用率、主机内存使用率、主机磁盘IO使用率、主机网络时延、主机平均IO操作等待时间、主机磁盘信息、主机内组件的进程信息。

可选地，根据所述任务信息和所述参数信息对所述Hadoop集群内的一个或多个组件部署任务包括：根据所述任务信息和所述参数信息生成部署任务列表，其中，所述部署任务列表包括所述任务信息、执行所述任务所需的所述参数信息，以及所述任务的优先级；从所述部署任务列表中选择优先级最高的任务下发给对应的组件。

可选地，所述优先级与所述任务的属性和/或执行所述任务的所述参数信息相关。