[发明专利]HDFS架构及HDFS架构中NameNode节点的压力分解方法有效
申请号: | 201310574038.5 | 申请日: | 2013-11-15 |
公开(公告)号: | CN103581332B | 公开(公告)日: | 2017-05-24 |
发明(设计)人: | 李春林;吴舰 | 申请(专利权)人: | 武汉理工大学 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 武汉开元知识产权代理有限公司42104 | 代理人: | 潘杰,胡红林 |
地址: | 430070 湖*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | hdfs 架构 namenode 节点 压力 分解 方法 | ||
1.一种HDFS架构,包括一台NameNode节点和多台DataNode节点,其特征在于,所述NameNode节点包括:
MetaDataNode节点,用于Hadoop分布式文件系统中元数据的管理;以及
MonitorNode节点,与所述MetaDataNode节点之间进行数据通信连接,用于Hadoop分布式文件系统的监测、元数据的备份、与所述MetaDataNode节点之间的数据交互;
在Hadoop分布式文件系统启动时,MetaDataNode节点和MonitorNode节点会同时启动;首先由MetaDataNode节点负责元数据信息的处理,判断FsImage文件和EditLog文件是否存在,如果存在,则从MonitorNode节点进行备份元数据的复制;如果不存在,则把元数据信息读入内存;查看EditLog文件,确保元数据信息得到及时的更新;日志信息得到更新后,写回保存元数据信息的磁盘,然后往MonitorNode节点进行备份更新;MetaDataNode节点和MonitorNode节点启动后,DataNode节点处于活跃状态,有元数据信息的更新,及时的向MetaNodeNode节点进行反馈,并且会频繁的发送心跳消息给MonitorNode节点,告诉其自己处于活跃状态。
2.一种HDFS架构中NameNode节点的压力分解方法,其特征在于,包括:
将HDFS架构中NameNode节点分为MetaDataNode节点和MonitorNode节点,所述MetaDataNode节点与所述MonitorNode节点之间进行数据通信;
所述MetaDataNode节点用于Hadoop分布式文件系统中元数据的管理,所述MonitorNode监测Hadoop分布式文件系统、备份元数据、与所述MetaDataNode节点之间交互数据,具体包括:
1)在Hadoop分布式文件系统启动时,MetaDataNode节点和MonitorNode节点会同时启动;
2)首先由MetaDataNode节点负责元数据信息的处理,判断FsImage文件和EditLog文件是否存在,如果存在,则从MonitorNode节点进行备份元数据的复制;如果不存在,则把元数据信息读入内存;
3)查看EditLog文件,确保元数据信息得到及时的更新;
4)日志信息得到更新后,写回保存元数据信息的磁盘,然后往MonitorNode节点进行备份更新;
5)MetaDataNode节点和MonitorNode节点启动后,DataNode节点处于活跃状态,有元数据信息的更新,及时的向MetaNodeNode节点进行反馈,并且会频繁的发送心跳消息给MonitorNode节点,告诉其自己处于活跃状态。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉理工大学,未经武汉理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310574038.5/1.html,转载请声明来源钻瓜专利网。