[发明专利]一种基于模型的Hadoop部署以及配置方法

说明书

技术领域

本发明涉及Hadoop生态系统软件部署与配置，特别是一种基于模型的Hadoop部署以及配置方法。

背景技术

Hadoop是一个开源的分布式数据处理软件框架。它以一种可靠的、有效的和容易扩展的方式处理数据。在使用实践中，管理员需要根据不同的管理需求以不同的方式部署和配置Hadoop集群，这是一个使用Hadoop服务的主要障碍。这个障碍主要可以分为两部分：

一方面，Hadoop服务非常多样，比如HDFS、Map-Reduce、Hbase、Hive、Yarn、Flume、Spark、Storm、Zookeeper等等。每个服务都有它自己不同于其他服务的管理接口。管理员必须熟悉这些接口才能部署和配置这些服务，这就增加了集群结构的复杂性。

另一方面，虽然已经有一些管理工具能帮助管理员自动化的构造Hadoop集群，但是它们通常都只提供了一个固定的部署方案。为了满足不同的管理需求，则需要大量的手工实现来调整和扩展部署和配置的过程。

发明内容

本发明的目的在于提供一种基于模型的Hadoop部署以及配置方法，以克服现有技术中存在的缺陷。

为实现上述目的，本发明的技术方案是：一种基于模型的Hadoop部署以及配置方法，按照如下步骤实现：

步骤S1：将用以描述用户需要的服务模型以及用以描述计算资源的云模型作为一Hadoop集群的自动化部署以及配置规则引擎的输入；

步骤S2：对Hadoop集群的自动化部署以及配置规则进行设定，并作为可重用资源进行固化；

步骤S3：根据所述Hadoop集群的自动化部署以及配置规则，结合所述服务模型以及所述云模型，生成Hadoop集群的自动化部署以及配置方案；

步骤S4：根据所述Hadoop集群的自动化部署以及配置方案，调用API在基础设施上部署Hadoop集群，得到更新后的、用以描述Hadoop集群服务层实时状态信息的服务模型以及用以描述Hadoop集群部署结果与实时状态信息的部署模型。

在本发明一实施例中，在所述步骤S2中，所述Hadoop集群的自动化部署以及配置规则包括：不同类型的机型在所有使用的计算节点个数中占用的个数、不同的角色占有的计算节点的范围、不同角色间以及组件与不同类型计算节点间的依赖关系、不同服务组件间的互斥关系以及所选服务的参数配置。

在本发明一实施例中，在所述步骤S3中，通过如下步骤生成所述Hadoop集群的自动化部署以及配置方案：

步骤S31：初始化所述Hadoop集群的自动化部署以及配置规则，从所述Hadoop集群的自动化部署以及配置规则中去除所述服务模型中不包括的Hadoop服务；

步骤S32：获取计算节点列表；从所述云模型中，获取若干个由所述服务模型中Cluster元素的AllHostNum属性限定的计算节点列表HostList；

步骤S33：处理角色之间的依赖关系；

步骤S34：处理角色之间的互斥关系；

步骤S35：处理每个角色的数量限制；

步骤S36：处理服务参数配置；

步骤S37：输出最终的所有角色的计算节点列表以及参数配置列表；

步骤S38：算法结束。

在本发明一实施例中，所述角色为Hadoop服务组件。

在本发明一实施例中，在所述步骤S33中，还包括如下步骤：

步骤S331：处理所述角色与所述计算节点列表中计算节点类型之间的依赖；

步骤S332：处理所述角色之间的依赖；

步骤S333：将剩下的且不存在依赖关系的角色的计算节点列表初始化为HostList。

在本发明一实施例中，在所述步骤S34中，还包括如下步骤：

步骤S341：获取存在互斥关系角色的交集节点；

步骤S342：获取每个角色的数量限制，包括最小限定值以及最大限定值；

步骤S343：分别去除每个角色的交集节点，且当去除后节点的个数小于每个角色对应的最小限定值时，用交集节点补足；

步骤S344：按照每个角色对应的最小限定值以及最大限定值差额的比例分配交集节点中的剩余节点。