[发明专利]HDFS中数据备份的方法

说明书

本发明提供了一种HDFS中数据备份的方法，包括：获取针对所述HDFS中保存的文件执行的操作命令，所述HDFS中保存的至少一个文件包括多个数据块；确定执行所述操作命令后所述保存的文件中发生变化的数据块，以确定执行所述操作命令前需备份的所述数据块；备份所述执行操作命令前需备份的数据块，并确定执行操作命令后的备份节点且保存所述备份节点对应的备份节点信息。本发明实施例提供的一种HDFS中数据备份的方法，通过备份执行操作命令前的文件中包括的所述发生变化的数据块，减少了HDFS中数据备份时的数据量，在不影响HDFS系统性能的基础上，实现了轻量级的数据备份，从而提高了HDFS中数据备份的效率。

技术领域

本发明涉及大数据领域，尤其涉及一种HDFS中数据备份的方法。

背景技术

HDFS(Hadoop分布式文件系统)由于其具有高容错性、高可靠性、高扩展性等优点，被广泛使用。HDFS采用主从架构，一个HDFS集群包含一个Name Node主节点和众多DataNode从节点。Name Node作为HDFS文件系统的主节点，负责维护整个HDFS文件系统的命名空间，管理所有文件和目录的元数据。Data Node作为HDFS文件的从节点，负责存储文件分为的多个固定大小的数据块(默认块大小为64MB或者128MB)。Name Node节点存储数据块相关信息，包括文件和数据块的映射关系，数据块和Data Node节点的映射关系。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：随着当前大数据技术的应用，各企业和政府部门对数据的依赖性越来越强，数据保护也变得非常重要。但对于HDFS中存储的大数据，如果由于误操作或其他原因导致数据丢失，要恢复TB甚至是PB级别的数据往往是非常困难的，或者需要耗费非常长的时间。

发明内容

有鉴于此，本发明提供了一种HDFS中数据备份的方法，通过把文件中发生变化的数据块作为备份文件保存，从而减少HDFS中数据备份时的数据量，实现了轻量级的数据备份，在不影响HDFS系统性能的基础上，提高了HDFS中海量数据备份的效率，从而提高数据还原的效率。

本发明实施例提供一种HDFS中数据备份的方法，包括：

获取针对所述HDFS中保存的文件执行的操作命令，所述HDFS中保存的至少一个文件包括多个数据块；

确定执行所述操作命令后所述保存的文件中发生变化的数据块，以确定执行所述操作命令前需备份的所述数据块；

备份所述执行操作命令前需备份的数据块，并确定执行操作命令后的备份节点且保存所述备份节点对应的备份节点信息。

可选地，本发明任一实施例中，所述操作命令包括：追加命令、删除命令、还原命令中的任一种或几种的组合。

可选地，本发明任一实施例中，所述操作命令为所述追加命令时，所述确定执行操作命令后所述保存的文件中发生变化的数据块，以确定执行所述操作命令前需备份的所述数据块包括：执行所述操作命令前复制所述文件中最后一个数据块；

比对复制的数据块与执行所述追加命令后文件中与所述复制的数据块对应的数据块，若比对结果不同，则确定所述保存的文件的最后一个数据块为需备份的所述数据块。

可选地，本发明任一实施例中，所述操作命令为所述删除命令时，所述确定执行操作命令后所述保存的文件中发生变化的数据块包括：

根据所述删除命令确定需要删除的所述保存的文件中的数据块，确定需要删除的所述数据块为发生变化的数据块。

可选地，本发明任一实施例中，所述备份所述执行操作命令前需备份的数据块包括：标记需要删除的所述数据块为已删除。

可选地，本发明任一实施例中，所述操作命令为所述还原命令时，所述确定执行操作命令后所述保存的文件中发生变化的数据块包括：