[发明专利]Hadoop分布式文件系统及其运行方法、修复方法有效
申请号: | 201911056278.X | 申请日: | 2019-10-31 |
公开(公告)号: | CN110795404B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 樊林 | 申请(专利权)人: | 京东方科技集团股份有限公司 |
主分类号: | G06F16/16 | 分类号: | G06F16/16;G06F16/18;G06F16/182;G06F11/14 |
代理公司: | 北京中博世达专利商标代理有限公司 11274 | 代理人: | 申健 |
地址: | 100015 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | hadoop 分布式 文件系统 及其 运行 方法 修复 | ||
1.一种Hadoop分布式文件系统,其特征在于,包括:第一名称节点、与所述第一名称节点连接的第二名称节点;
所述第一名称节点,用于存储元数据文件;所述元数据文件包括镜像文件和编辑日志;
所述第一名称节点还用于每隔预设的第一时长,将所述镜像文件与所述编辑日志合并,形成新的镜像文件,并启用新的编辑日志;
所述第二名称节点,用于每隔预设的第一时长,对所述第一名称节点上新的镜像文件备份;还用于每隔预设的第二时长,对所述第一名称节点上的所述编辑日志备份;所述第二时长小于所述第一时长;
其中,所述第一名称节点和所述第二名称节点分别部署于不同的主机。
2.一种如权利要求1所述的Hadoop分布式文件系统的运行方法,其特征在于,包括:
启动第一名称节点,加载元数据文件,同时启动第二名称节点;所述元数据文件包括镜像文件和编辑日志;
每隔预设的第一时长,所述第一名称节点将所述镜像文件与所述编辑日志合并,形成新的所述镜像文件,同时启用新的编辑日志;所述第二名称节点对所述第一名称节点上新的所述镜像文件备份;
每隔预设的第二时长,所述第二名称节点对所述第一名称节点上的所述编辑日志备份;所述第二时长小于所述第一时长;
其中,所述第一名称节点与所述第二名称节点分别部署于不同主机。
3.一种如权利要求1所述的Hadoop分布式文件系统的修复方法,其特征在于,包括:
停止受损的第一名称节点,同时停止第二名称节点;
备份所述第二名称节点上的元数据文件;所述元数据文件包括所述第二名称节点最后一次从受损的所述第一名称节点上备份的镜像文件和编辑日志;
准备部署新的第一名称节点的主机;部署新的第一名称节点的主机与部署所述受损的第一名称节点、部署所述第二名称节点的主机均不同;
配置所述主机的名称、IP地址、互信登录、运行环境和集群;
对新的所述第一名称节点执行格式化;
将备份的所述第二名称节点上的镜像文件和编辑日志,发送至新的所述第一名称节点;
修改新的所述第一名称节点的元数据序号。
4.根据权利要求3所述的Hadoop分布式文件系统的修复方法,其特征在于,在修改新的所述第一名称节点的元数据序号之后,还包括:
启动新的所述第一名称节点和对应的Hadoop分布式文件系统;
执行Hadoop分布式文件系统检查。
5.一种Hadoop分布式文件系统,其特征在于,包括:第一名称节点、与所述第一名称节点连接的第二名称节点;
所述第一名称节点,用于存储元数据文件;所述元数据文件包括镜像文件和编辑日志;所述第一名称节点还用于每隔预设的第一时长,启用新的编辑日志;
所述第二名称节点,用于每隔预设的第一时长,对所述第一名称节点上原有的所述镜像文件和原有的所述编辑日志备份,将备份的所述镜像文件和所述编辑日志合并,形成新的所述镜像文件,并发送回所述第一名称节点,替换所述第一名称节点原有的镜像文件;
所述第二名称节点,还用于每隔预设的第二时长,对所述第一名称节点上的所述编辑日志备份,形成中间编辑日志;所述第二时长小于所述第一时长;
其中,所述第一名称节点和所述第二名称节点分别部署于不同的主机。
6.一种如权利要求5所述的Hadoop分布式文件系统的运行方法,其特征在于,包括:
启动第一名称节点,加载元数据文件,同时启动第二名称节点;所述元数据文件包括镜像文件和编辑日志;
每隔预设的第一时长,所述第一名称节点启动新的编辑日志;所述第二名称节点对所述第一名称节点上原有的所述镜像文件和原有的所述编辑日志备份,将备份的所述镜像文件与所述编辑日志合并,形成新的所述镜像文件,并发送回所述第一名称节点,替换所述第一名称节点原有的镜像文件;
每隔预设的第二时长,所述第二名称节点对所述第一名称节点上的所述编辑日志备份,形成中间编辑日志;所述第二时长小于所述第一时长;
其中,所述名称节点与所述第二名称节点分别部署于不同主机。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于京东方科技集团股份有限公司,未经京东方科技集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911056278.X/1.html,转载请声明来源钻瓜专利网。