[发明专利]一种部署Namenode的方法和系统

说明书

技术领域

本发明实施例涉及计算机领域，尤其涉及一种部署命名节点(Namenode)的方法和系统。

背景技术

爱姆鲍蕾(Ambari)是一种基于Web的工具，支持阿帕奇(Apache)海杜普(Hadoop)集群的供应、管理和监控。Ambari目前已支持大多数海杜普(Hadoop)组件，包括Hadoop分布式文件系统(HDFS)、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。

Hadoop由许多元素构成，其最底部是Hadoop Distributed File System(HDFS)，它存储Hadoop集群中所有存储节点上的文件。HDFS的上一层是MapReduce引擎，该引擎由JobTrackers和TaskTrackers组成。通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具(Hive)和分布式数据库(Hbase)的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。

对外部客户机而言，HDFS就像一个传统的分级文件系统，可以创建、删除、移动或重命名文件，等等。但是HDFS的架构是基于一组特定的节点构建的，这些节点包括命名节点NameNode(仅一个)，它在HDFS内部提供元数据服务；数据节点DataNode，它为HDFS提供存储块。存储在HDFS中的文件被分成块，然后将这些块复制到多个计算机中(DataNode)。

命名节点(NameNode)管理文件系统的命名空间，它维护着文件系统树及整棵树内所有的文件和目录。NameNode负责管理文件系统名称空间和控制外部客户机的访问。NameNode决定是否将文件映射到DataNode上的复制块上。当外部客户机发送请求要求创建文件时，NameNode会以块标识和该块的第一个副本的DataNode IP地址作为响应。这个NameNode还会通知其他将要接收该块的副本的DataNode。

DataNode也是一个通常在HDFS实例中的单独机器上运行的软件，Hadoop集群包含一个NameNode和大量DataNode。DataNode通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。DataNode响应来自HDFS客户机的读写请求。DataNode还响应来自NameNode的创建、删除和复制块的命令。

HDFS集群有两类节点，并以管理者-工作者模式运行，即一个NameNode为管理者和多个数据节点(DataNode)为工作者。一个HDFS cluster包含一个NameNode和若干的DataNode，NameNode(NN)是master，主要负责管理HDFS文件系统，具体地包括namespace管理(其实就是目录结构)和block管理。DataNode(DN)主要是用来存储数据文件，HDFS将一个文件分割成一个个的块(block)，这些block可能存储在一个DataNode上或者是多个DataNode上。DN负责实际的底层的文件的读写，如果客户端(client)程序发起了读HDFS上的文件的命令，那么首先将这些文件分成block，然后NN将告知client这些block数据是存储在哪些DN上的，之后，client将直接和DN交互。

在大数据应用场景下，随着数据海量增加，利用Ambari部署已经成为主流的解决方案，但由于Ambari部署面临Linux环境复杂、Namenode HA配置不够自动化和一体化，导致HA的部署困难和安全低下。

发明内容

本发明多个方面提供一种部署Namenode的方法和系统，可以改进Ambari部署Namenode HA的效率低与安全低的问题，快速提高Hadoop集群部署的效率。

本发明的一方面提供一种部署Namenode的方法，包括：

具有linux系统的主机器和辅机器安装Hadoop组件的安装包；

所述主机器安装Namenode，管理所述Namenode相关服务的测试和连接，配置所述Namenode对外的地址与域名；

所述辅机器安装包含HDFS的DataNode，并配置所述包含HDFS的所述DataNode与所述Namenode连接。

可选地，所述主机器和所述辅机器的磁盘根目录大于或等于40G bit。