[发明专利]HDFS架构及HDFS架构中NameNode节点的压力分解方法

摘要

本发明公开了一种HDFS架构及HDFS架构的NameNode节点的压力分解方法，本发明将HDFS架构中NameNode节点分为MetaDataNode节点和MonitorNode节点，所述MetaDataNode节点与所述MonitorNode节点之间进行数据通信；所述MetaDataNode节点用于Hadoop分布式文件系统中元数据的管理，所述MonitorNode监测Hadoop分布式文件系统、备份元数据、与所述MetaDataNode节点之间交互数据。相比现有技术HDFS架构中只有一台NameNode节点，本发明HDFS架构中NameNode节点分为MetaDataNode节点和MonitorNode节点，即将原HDFS架构中NameNode的职责分解到两个节点上，能够有效的减轻现有HDFS架构中主控节点的压力。

主权项

一种HDFS架构，包括一台NameNode节点和多台DataNode节点，其特征在于，所述NameNode节点包括：MetaDataNode节点，用于Hadoop分布式文件系统中元数据的管理；以及MonitorNode节点，与所述MetaDataNode节点之间进行数据通信连接，用于Hadoop分布式文件系统的监测、元数据的备份、与所述MetaDataNode节点之间的数据交互；在Hadoop分布式文件系统启动时，MetaDataNode节点和MonitorNode节点会同时启动；首先由MetaDataNode节点负责元数据信息的处理，判断FsImage文件和EditLog文件是否存在，如果存在，则从MonitorNode节点进行备份元数据的复制；如果不存在，则把元数据信息读入内存；查看EditLog文件，确保元数据信息得到及时的更新；日志信息得到更新后，写回保存元数据信息的磁盘，然后往MonitorNode节点进行备份更新；MetaDataNode节点和MonitorNode节点启动后，DataNode节点处于活跃状态，有元数据信息的更新，及时的向MetaNodeNode节点进行反馈，并且会频繁的发送心跳消息给MonitorNode节点，告诉其自己处于活跃状态。