[发明专利]HDFS中数据异地备份的方法及装置

说明书

本发明提供了一种HDFS中数据异地备份的方法及装置，方法包括：确定HDFS中发生变化的数据块，所述HDFS中至少保存一个文件，每个文件至少包括一个数据块；根据所述HDFS中发生变化的数据块对应的数据块信息，逐个备份发生变化的数据块至异地的HDFS备份集群中。本发明实施例提供一种HDFS中数据异地备份的方法及装置，通过逐个备份发生变化的数据块，减小了备份的数据总量与备份需要的带宽，实现了轻量级的异地备份，提高了异地容灾的效率。

技术领域

本发明涉及大数据领域，尤其涉及一种HDFS中数据异地备份的方法及装置。

背景技术

HDFS(Hadoop分布式文件系统)由于其具有高容错性、高可靠性、高扩展性等优点，被广泛使用。HDFS采用主从架构，一个HDFS集群包含一个Name Node主节点和众多DataNode从节点。Name Node作为HDFS文件系统的主节点，负责维护整个HDFS文件系统的命名空间，管理所有文件和目录的元数据。Data Node作为HDFS文件的从节点，负责存储文件分为的多个固定大小的数据块(默认块大小为64MB或者128MB)。Name Node节点存储数据块相关信息，包括文件和数据块的映射关系，数据块和Data Node节点的映射关系。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：随着当前大数据技术的应用，各企业和政府部门对数据的依赖性越来越强，数据容灾变得非常重要。当前对于HDFS中存储的大数据异地容灾技术往往采用数据库整体备份的方式，由于HDFS中存储的数据量较大，导致HDFS实现海量数据的异地容灾的效率较低。

发明内容

有鉴于此，本发明实施例提供一种HDFS中数据异地备份的方法及装置，通过逐个备份发生变化的数据块，减小了备份的数据总量与备份需要的带宽，实现了轻量级的异地备份，提高了异地容灾的效率。

本发明实施例提供一种HDFS中数据异地备份的方法，包括：

确定HDFS中发生变化的数据块，所述HDFS中至少保存一个文件，每个文件至少包括一个数据块；

根据所述HDFS中发生变化的数据块对应的数据块信息，逐个备份发生变化的数据块至异地的HDFS备份集群中。

在本发明任一实施例中，所述确定HDFS中发生变化的数据块包括：

根据HDFS备份集群中存储的元数据的文件信息与所述HDFS中存储的对应元数据的文件信息，确定发生变化的文件，以确定所述发生变化的文件中发生变化的数据块。

在本发明任一实施例中，所述发生变化的文件包括：增加的文件、删除的文件或修改的文件中的任一种。

在本发明任一实施例中，所述发生变化的文件为增加的文件或删除的文件时，增加或删除的文件中包括的数据块均为发生变化的数据块；

所述逐个备份发生变化的数据块至异地的HDFS备份集群中包括：

若所述发生变化的文件为增加的文件，则逐个复制增加的文件中发生变化的数据块，并保存至异地的HDFS备份集群中；

若所述发生变化的文件为删除的文件，则逐个删除异地的HDFS备份集群中的文件中发生变化的数据块。

在本发明任一实施例中，所述逐个删除异地的HDFS备份集群中的文件中发生变化的数据块包括：

设置异地的HDFS备份集群上存储的文件中发生变化的数据块为待删除状态；

间隔设定的保护时长后，逐个删除设为所述待删除状态的所述数据块。

在本发明任一实施例中，所述发生变化的文件为修改的文件时，所述确定所述发生变化的文件中发生变化的数据块包括：