[发明专利]Hbase数据备份/恢复系统、方法、装置及电子设备

说明书

本申请公开了Hbase数据备份系统、方法及装置，Hbase数据恢复系统、方法及装置，Hbase数据管理系统，数据备份/恢复系统，及电子设备。其中，Hbase数据备份方法包括：针对Hbase数据库的待备份数据表，生成数据表相关的多个区域分别对应的全量备份任务,执行全量备份任务时包括：获取区域对应的HFile文件列表，作为变化前文件列表；将变化前文件列表中的HFile文件复制到分布式文件系统；若所述HFile文件不存在，则重新获取区域对应的HFile文件列表，作为变化后文件列表，并将变化后文件列表中的HFile文件复制到分布式文件系统。采用这种处理方式，使得Hbase数据备份作为一个独立的服务实现，无需数据库额外提供存储空间；因此，可以有效提升稳定性和灵活性，有效节约数据库存储资源。

技术领域

本申请涉及数据管理技术领域，具体涉及Hbase数据备份系统、方法及装置，Hbase数据恢复系统、方法及装置，Hbase数据管理系统，数据备份系统，数据恢复系统，以及电子设备。

背景技术

数据可靠性是业务系统的生命线，是分布式存储系统的核心价值之一。为了确保数据的高可靠性，需要对数据进行备份及恢复等处理。

如图1所示，其为一种典型的HBase数据备份方案，其备份过程包含两个环节：全量备份和增量备份。全量备份利用HBase自身的snapshot机制，对某一个时间点数据进行一次快照，然后根据这个快照将全量数据复制到目标存储。增量备份的原理是将HBase的日志进行备份，在固定的周期上启动分布式计算模型(MapReduce，MR)作业将上一周期后新产生的日志数据进行同步。

然而，在实现本发明过程中，发明人发现该技术方案至少存在如下问题：1)由于要依赖HBase的snapshot功能，而被snapshot的文件在全量复制期间是不能够被回收的，加上全量备份的时间通常比较长，会导致存储膨胀，源端HBase需要为了备份付出额外的存储空间；2)该方案的实现代码与HBase强耦合，需要和HBase一起部署和升级，一旦HBase有缺陷(bug)，或者备份程序有bug会相互影响。综上所述，现有技术存在与源端Hbase数据库强耦合、且占用源端Hbase数据库较多存储资源的问题。

发明内容

本申请提供Hbase数据备份系统，以解决现有技术存在的与源端Hbase数据库强耦合、且占用源端Hbase数据库较多存储资源的问题。本申请另外Hbase数据备份方法及装置，Hbase数据恢复系统、方法及装置，Hbase数据管理系统，数据备份系统，数据恢复系统，以及电子设备。

本申请提供一种Hbase数据备份系统，包括：

数据备份管理装置和多个数据备份任务执行装置；

所述数据备份管理装置，用于针对源端Hbase数据库的待备份数据表，生成所述数据表相关的至少一个区域分别对应的全量备份任务；根据任务分配算法，将所述全量备份任务分发至各个所述数据备份任务执行装置；

所述数据备份任务执行装置，用于执行所述全量备份任务；所述执行所述全量备份任务包括：获取所述区域对应的HFile文件列表，作为变化前文件列表；将所述变化前文件列表中的HFile文件复制到目标端分布式文件系统；以及，在执行所述全量备份任务时，若所述HFile文件不存在，则重新获取所述区域对应的HFile文件列表，作为变化后文件列表，并将所述变化后文件列表中的HFile文件复制到所述目标端分布式文件系统。

可选的，所述数据备份任务执行装置，还用于在执行所述全量备份任务时，若所述变化前文件列表中的HFile文件不存在、且所述区域不存在，则通知所述数据备份管理装置区域不存在；

所述数据备份管理装置，还用于根据区域不存在的通知，获取变化后的分区，并生成所述变化后的分区对应的所述全量备份任务。