[发明专利]Hadoop分布式文件系统及其运行方法、修复方法

说明书

本发明的实施例提供一种Hadoop分布式文件系统及其运行方法、修复方法，数据处理技术领域，可以更高频且更多的保存元数据序列，增强数据的安全性。一种Hadoop分布式文件系统，包括：第一名称节点、与第一名称节点连接的第二名称节点；第一名称节点，用于存储元数据文件；元数据文件包括镜像文件和编辑日志；第一名称节点还用于每隔预设的第一时长，将镜像文件与编辑日志合并，形成新的镜像文件，并启用新的编辑日志；第二名称节点，用于每隔预设的第一时长，对第一名称节点上新的镜像文件备份；还用于每隔预设的第二时长，对第一名称节点上的编辑日志备份。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种Hadoop分布式文件系统及其运行方法、修复方法。

背景技术

Hadoop集群的存储系统是Hadoop分布式文件系统(Hadoop Distributed FileSystem，HDFS)，HDFS可以有效的解决海量数据的存储和管理难题，具体为：将固定于某个地点的某个文件系统，扩展到任意多个地点、多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。

在使用HDFS时，无需关心数据是存储在哪个节点上、或者是从哪个节点获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。

发明内容

本发明的实施例提供一种Hadoop分布式文件系统及其运行方法、修复方法，可以更高频且更多的保存元数据序列，增强数据的安全性。

为达到上述目的，本发明的实施例采用如下技术方案：

一方面，提供一种Hadoop分布式文件系统，包括：第一名称节点、与所述第一名称节点连接的第二名称节点；所述第一名称节点，用于存储元数据文件；所述元数据文件包括镜像文件和编辑日志；所述第一名称节点还用于每隔预设的第一时长，将所述镜像文件与所述编辑日志合并，形成新的镜像文件，并启用新的编辑日志；所述第二名称节点，用于每隔预设的第一时长，对所述第一名称节点上新的镜像文件备份；还用于每隔预设的第二时长，对所述第一名称节点上的所述编辑日志备份；所述第二时长小于所述第一时长；其中，所述第一名称节点和所述第二名称节点分别部署于不同的主机。

再一方面，提供一种如上所述的Hadoop分布式文件系统的运行方法，包括：启动第一名称节点，加载元数据文件，同时启动第二名称节点；所述元数据文件包括镜像文件和编辑日志；每隔预设的第一时长，所述第一名称节点将所述镜像文件与所述编辑日志合并，形成新的所述镜像文件，同时启用新的编辑日志；所述第二名称节点对所述第一名称节点上新的所述镜像文件备份；每隔预设的第二时长，所述第二名称节点对所述第一名称节点上的所述编辑日志备份；所述第二时长小于所述第一时长；其中，所述第一名称节点与所述第二名称节点分别部署于不同主机。

另一方面，提供一种如上所述的Hadoop分布式文件系统的修复方法，包括：停止受损的第一名称节点，同时停止第二名称节点；备份所述第二名称节点上的元数据文件；所述元数据文件包括所述第二名称节点最后一次从受损的所述第一名称节点上备份的镜像文件和编辑日志；准备部署新的第一名称节点的主机；部署新的第一名称节点的主机与部署所述受损的第一名称节点、部署所述第二名称节点的主机均不同；配置所述主机的名称、IP地址、互信登录、运行环境和集群；对新的所述第一名称节点执行格式化；将备份的所述第二名称节点上的镜像文件和编辑日志，发送至新的所述第一名称节点；修改新的所述第一名称节点的元数据序号。

可选地，在修改新的所述第一名称节点的元数据序号之后，还包括：启动新的所述第一名称节点和对应的Hadoop分布式文件系统；执行Hadoop分布式文件系统检查。