[发明专利]HDFS中NameNode单点失效的解决方法

说明书

技术领域

本发明涉及分布式文件系统技术领域，特别涉及一种HDFS集群中NameNode单点失效的解决方法。

背景技术

Hadoop Distributed File System，简称HDFS，是一个开源分布式文件系统。HDFS内部把集群分为两类角色：NameNode（名字节点）和DataNode（数据节点），一个HDFS集群一般包括一个NameNode和多个DataNode，NameNode是管理文件命名空间和调节客户端访问文件的主服务器，DataNode是被NameNode控制并存储实际数据的从服务器。作为HDFS集群的关键节点，NameNode的单点失效成为该分布式系统面临的最大风险。为此，Hadoop社区及各个主要分支都研究了很多解决方案来解决这一问题。

Gluster File System，简称GlusterFS，是另一个开源分布式文件系统，主要应用在集群系统中，其配置简单并具有很好的可扩展性。

如果能够将GlusterFS应用于HDFS中，解决NameNode单点失效的问题，便可大大提高HDFS应对节点故障的能力。

发明内容

（一）所要解决的技术问题

本发明的目的在于提供一种HDFS中NameNode单点失效的解决方法，从而在NameNode单点失效时实现NameNode位置的平滑迁移。

（二）技术方案

为了解决上述技术问题，本发明提出了一种HDFS中NameNode单点失效的解决方法，所述方法包括以下步骤：

S1、启动GlusterFS服务，并在节点A上挂载GlusterFS文件系统；

S2、在所述节点A上启动HDFS NameNode服务，并将HDFSNameNode的元数据保存在所述GlusterFS文件系统中；

S3、当所述节点A失效时，在另一节点B上挂载所述GlusterFS文件系统，并启动HDFS NameNode服务。

可选的，所述方法应用于OPV-Suite集群管理系统中。

可选的，步骤S1中，所述在节点A上挂载GlusterFS文件系统是通过在Windows或Linux操作系统下运行mount命令实现的。

可选的，步骤S3中，所述失效包括断电或断网。

（三）有益效果

采用本发明提出的技术方案，由于HDFS NameNode使用挂载的GlusterFS文件系统来保存自己的元数据，这样就保证了NameNode元数据的数据安全性。当某一Node失效时，由于NameNode的元数据没有丢失，所以它可以在另外的Node上继续工作，整个过程保证了NameNode位置的平滑迁移，从而有效避免了因NameNode单点失效给HDFS集群带来的风险和损失。

附图说明

图1是本发明提出的HDFS中NameNode单点失效的解决方法的基本流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明提出了一种HDFS中NameNode单点失效的解决方法，如图1所示，所述方法包括以下步骤：

S1、启动GlusterFS服务，并在节点A上挂载GlusterFS文件系统；

S2、在所述节点A上启动HDFS NameNode服务，并将HDFSNameNode的元数据保存在所述GlusterFS文件系统中；

S3、当所述节点A失效时，在另一节点B上挂载所述GlusterFS文件系统，并启动HDFS NameNode服务。

下面利用汉柏OPV-Suite集群管理系统对本发明的实现方式进行举例说明。