[发明专利]分布式部署Hadoop集群的方法及装置

权利要求书

1.一种分布式部署Hadoop集群的方法，其特征在于，包括：

接收用于部署Hadoop集群的模板信息，其中，所述模板信息用于指示所述Hadoop集群的任务信息和主机信息，所述任务信息用于描述需要所述Hadoop集群完成的任务；

根据所述主机信息采集所述Hadoop集群的一个或多个主机的参数信息，所述参数信息包括所述主机的负载信息，其中，每个所述主机用于部署一个或多个组件，所述组件由代理器部署，用于执行对应的任务；

根据所述任务信息和所述参数信息对一个或多个所述组件部署任务，包括：

根据硬件资源和主机负载情况，分配Hadoop组件Master、Slave节点；

根据集群内节点数量，计算ZOOKEEPER节点数量并分配；

根据HDFS节点数量，计算Journalnode节点数量并分配。

2.根据权利要求1所述的方法，其特征在于，所述参数信息包括以下至少之一：主机操作系统信息、主机网络信息、主机CPU信息、主机内存信息、主机CPU利用率、主机内存使用率、主机磁盘IO使用率、主机网络时延、主机平均IO操作等待时间、主机磁盘信息、主机内组件的进程信息。

3.根据权利要求1所述的方法，其特征在于，根据所述任务信息和所述参数信息对所述Hadoop集群内的一个或多个组件部署任务包括：

根据所述任务信息和所述参数信息生成部署任务列表，其中，所述部署任务列表包括所述任务信息、执行所述任务所需的所述参数信息，以及所述任务的优先级；

从所述部署任务列表中选择优先级最高的任务下发给对应的组件。

4.根据权利要求3所述的方法，其特征在于，所述优先级与所述任务的属性和/或执行所述任务的所述参数信息相关。

5.根据权利要求1所述的方法，其特征在于，在根据所述模板信息和所述参数信息对一个或多个所述组件部署任务之后，所述方法还包括：

监控所述一个或多个组件的任务执行进度和/或日志信息。

6.根据权利要求1所述的方法，其特征在于，所述模板信息包括以下至少之一：Hadoop集群主机个数、需要部署的Hadoop集群组件信息、Hadoop分布式文件系统HDFS副本个数、Hadoop集群各组件客户端连接数和超时时间、主机网络地址、主机用户名及密码、日志存储盘信息、数据存储盘信息、元数据存储盘信息。

7.根据权利要求1所述的方法，其特征在于，在接收用于部署Hadoop集群的模板信息之后，所述方法还包括：

解析所述模板信息并验证所述模板信息的合法性。

8.一种分布式部署Hadoop集群的装置，其特征在于，包括：

接收模块，用于接收用于部署Hadoop集群的模板信息，其中，所述模板信息用于指示所述Hadoop集群的任务信息和主机信息，所述任务信息用于描述需要所述Hadoop集群完成的任务；

采集模块，用于根据所述主机信息采集所述Hadoop集群的一个或多个主机的参数信息，所述参数信息包括所述主机的负载信息，其中，每个所述主机包括一个或多个组件，所述组件由代理器部署，用于执行对应的任务；

部署模块，用于根据所述任务信息和所述参数信息对一个或多个所述组件部署任务，包括：

根据硬件资源和主机负载情况，分配Hadoop组件Master、Slave节点；

根据集群内节点数量，计算ZOOKEEPER节点数量并分配；

根据HDFS节点数量，计算Journalnode节点数量并分配。

9.根据权利要求8所述的装置，其特征在于，部署模块还包括：

生成单元，用于根据所述任务信息和所述参数信息生成部署任务列表，其中，所述部署任务列表包括所述任务信息、执行所述任务所需的所述参数信息，以及所述任务的优先级；

选择单元，用于从所述部署任务列表中选择优先级最高的任务下发给对应的组件。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

监控模块，用于在所述部署模块根据所述模板信息和所述参数信息对一个或多个所述组件部署任务之后，监控所述一个或多个组件的任务执行进度和/或日志信息。