[发明专利]HDFS架构及HDFS架构中NameNode节点的压力分解方法

说明书

技术领域

本发明涉及云计算中的云存储，具体地指一种HDFS架构及HDFS架构中NameNode节点的压力分解方法。

背景技术

随着互联网技术的广泛应用及发展，全球已经进入了大数据时代，信息量呈现了爆炸性的增长，传统的存储已经满足不了时代的需要，存储资源的昂贵及大数据量的处理及管理逐渐制约着企业的发展，越来越多的企业开始将数据存储分离出来，通过一些技术手段实现高可靠性、高扩展性、大容量、高效率、相对低成本的存储方式，并且可以实现存储资源的对外租赁这就是云存储出现的原因。云存储的出现则会彻底改变大数据时代的存储模式。

具体来说，云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，把各种不同类型的存储设备通过软件进行协同工作，成为一个数据中心，企业或个人的文件或数据集中存储在数据中心而非本地，并按实际使用进行付费，这就形成了一个对外提供数据存储和业务访问功能的一个云存储系统。换句话说，当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。所以，云存储即是云计算所提供的一种存储服务。

鉴于上述的云存储，使得大量中小型企业可以不再受制于昂贵的存储服务器成本，并且免去了对服务器的架构设计及运维管理成本，只需要一笔少量的投入，使用公共云存储服务，降低成本的同时也得到了更好的技术保障。

Hadoop（分布式系统基础架构）采用的是分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop和处理大规模数据的云存储具有天然的联系，可以设计部署在低廉的硬件设备上,以提供高传输率来访问应用程序的数据,适合那些有着超大数据集的应用程序.所以目前国内外很多云存储是基于Hadoop架构之上的。

Hadoop分布式文件系统（Hadoop Distributed File System，简称HDFS）是部署在大量低廉硬件上的文件系统，采用流的方式进行文件系统中数据的访问，并具有数据自动备份等功能，因此具有高容错性、高吞吐量等特点，适合大数据集的应用服务。HDFS采用Master/Slave结构，即主从分布式结构。HDFS架构中包括了一台NameNode节点，还有多台DataNode节点，其本质上是集群中的多种服务器，协同工作，各尽其责，提供整个文件系统的服务。其中包括主控服务器（即文件系统的Master，NameNode节点）、数据服务器（即文件系统的Slave，DataNode节点），以及客户服务器Client。

HDFS架构中单一节点的NameNode简化了系统的架构，但也增加了单一节点的风险，一旦NameNode出现故障，整个系统将会瘫痪。由于NameNode负责全部的元数据管理和系统的监测，所以其具有巨大的负载压力，而这负载压力是其可能发生故障的原因之一。

发明内容

本发明目的在于克服上述现有技术的不足而提供一种HDFS架构及HDFS架构中NameNode节点的压力分解方法，本发明通过将HDFS架构中NameNode节点分为MetaDataNode节点和MonitorNode节点，以分解原HDFS架构中只有单一NameNode节点的压力，提高了HDFS的工作效率。

实现本发明目的采用的技术方案是：一种HDFS架构，包括一台NameNode节点和多台DataNode节点，所述NameNode节点包括：

MetaDataNode节点，用于Hadoop分布式文件系统中元数据的管理；以及

MonitorNode节点，与所述MetaDataNode节点之间进行数据通信连接，用于Hadoop分布式文件系统的监测、元数据的备份、与所述MetaDataNode节点之间的数据交互。

此外，本发明还提供一种基于上述HDFS架构的NameNode节点的压力分解方法，包括：

将HDFS架构中NameNode节点分为MetaDataNode节点和MonitorNode节点，所述MetaDataNode节点与所述MonitorNode节点之间进行数据通信；

所述MetaDataNode节点用于Hadoop分布式文件系统中元数据的管理，所述MonitorNode监测Hadoop分布式文件系统、备份元数据、与所述MetaDataNode节点之间交互数据。