[发明专利]Hadoop分布式文件系统及其运行方法、修复方法有效

专利信息
申请号: 201911056278.X 申请日: 2019-10-31
公开(公告)号: CN110795404B 公开(公告)日: 2023-04-07
发明(设计)人: 樊林 申请(专利权)人: 京东方科技集团股份有限公司
主分类号: G06F16/16 分类号: G06F16/16;G06F16/18;G06F16/182;G06F11/14
代理公司: 北京中博世达专利商标代理有限公司 11274 代理人: 申健
地址: 100015 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: hadoop 分布式 文件系统 及其 运行 方法 修复
【权利要求书】:

1.一种Hadoop分布式文件系统,其特征在于,包括:第一名称节点、与所述第一名称节点连接的第二名称节点;

所述第一名称节点,用于存储元数据文件;所述元数据文件包括镜像文件和编辑日志;

所述第一名称节点还用于每隔预设的第一时长,将所述镜像文件与所述编辑日志合并,形成新的镜像文件,并启用新的编辑日志;

所述第二名称节点,用于每隔预设的第一时长,对所述第一名称节点上新的镜像文件备份;还用于每隔预设的第二时长,对所述第一名称节点上的所述编辑日志备份;所述第二时长小于所述第一时长;

其中,所述第一名称节点和所述第二名称节点分别部署于不同的主机。

2.一种如权利要求1所述的Hadoop分布式文件系统的运行方法,其特征在于,包括:

启动第一名称节点,加载元数据文件,同时启动第二名称节点;所述元数据文件包括镜像文件和编辑日志;

每隔预设的第一时长,所述第一名称节点将所述镜像文件与所述编辑日志合并,形成新的所述镜像文件,同时启用新的编辑日志;所述第二名称节点对所述第一名称节点上新的所述镜像文件备份;

每隔预设的第二时长,所述第二名称节点对所述第一名称节点上的所述编辑日志备份;所述第二时长小于所述第一时长;

其中,所述第一名称节点与所述第二名称节点分别部署于不同主机。

3.一种如权利要求1所述的Hadoop分布式文件系统的修复方法,其特征在于,包括:

停止受损的第一名称节点,同时停止第二名称节点;

备份所述第二名称节点上的元数据文件;所述元数据文件包括所述第二名称节点最后一次从受损的所述第一名称节点上备份的镜像文件和编辑日志;

准备部署新的第一名称节点的主机;部署新的第一名称节点的主机与部署所述受损的第一名称节点、部署所述第二名称节点的主机均不同;

配置所述主机的名称、IP地址、互信登录、运行环境和集群;

对新的所述第一名称节点执行格式化;

将备份的所述第二名称节点上的镜像文件和编辑日志,发送至新的所述第一名称节点;

修改新的所述第一名称节点的元数据序号。

4.根据权利要求3所述的Hadoop分布式文件系统的修复方法,其特征在于,在修改新的所述第一名称节点的元数据序号之后,还包括:

启动新的所述第一名称节点和对应的Hadoop分布式文件系统;

执行Hadoop分布式文件系统检查。

5.一种Hadoop分布式文件系统,其特征在于,包括:第一名称节点、与所述第一名称节点连接的第二名称节点;

所述第一名称节点,用于存储元数据文件;所述元数据文件包括镜像文件和编辑日志;所述第一名称节点还用于每隔预设的第一时长,启用新的编辑日志;

所述第二名称节点,用于每隔预设的第一时长,对所述第一名称节点上原有的所述镜像文件和原有的所述编辑日志备份,将备份的所述镜像文件和所述编辑日志合并,形成新的所述镜像文件,并发送回所述第一名称节点,替换所述第一名称节点原有的镜像文件;

所述第二名称节点,还用于每隔预设的第二时长,对所述第一名称节点上的所述编辑日志备份,形成中间编辑日志;所述第二时长小于所述第一时长;

其中,所述第一名称节点和所述第二名称节点分别部署于不同的主机。

6.一种如权利要求5所述的Hadoop分布式文件系统的运行方法,其特征在于,包括:

启动第一名称节点,加载元数据文件,同时启动第二名称节点;所述元数据文件包括镜像文件和编辑日志;

每隔预设的第一时长,所述第一名称节点启动新的编辑日志;所述第二名称节点对所述第一名称节点上原有的所述镜像文件和原有的所述编辑日志备份,将备份的所述镜像文件与所述编辑日志合并,形成新的所述镜像文件,并发送回所述第一名称节点,替换所述第一名称节点原有的镜像文件;

每隔预设的第二时长,所述第二名称节点对所述第一名称节点上的所述编辑日志备份,形成中间编辑日志;所述第二时长小于所述第一时长;

其中,所述名称节点与所述第二名称节点分别部署于不同主机。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于京东方科技集团股份有限公司,未经京东方科技集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911056278.X/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top