[发明专利]Hbase数据备份/恢复系统、方法、装置及电子设备有效
申请号: | 201811428100.9 | 申请日: | 2018-11-27 |
公开(公告)号: | CN111221678B | 公开(公告)日: | 2023-04-11 |
发明(设计)人: | 孟庆义;梁俊飞 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F16/182 |
代理公司: | 北京君以信知识产权代理有限公司 11789 | 代理人: | 谭镇 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | hbase 数据 备份 恢复 系统 方法 装置 电子设备 | ||
1.一种Hbase数据备份系统,其特征在于,包括:
数据备份管理装置和多个数据备份任务执行装置;
所述数据备份管理装置,用于针对源端Hbase数据库的待备份数据表,生成所述数据表相关的至少一个区域分别对应的全量备份任务;根据任务分配算法,将所述全量备份任务分发至各个所述数据备份任务执行装置;
所述数据备份任务执行装置,用于执行所述全量备份任务;所述执行所述全量备份任务包括:获取所述区域对应的HFile文件列表,作为变化前文件列表;将所述变化前文件列表中的HFile文件复制到目标端分布式文件系统;以及,在执行所述全量备份任务时,若所述HFile文件不存在,则重新获取所述区域对应的HFile文件列表,作为变化后文件列表,并将所述变化后文件列表中的HFile文件复制到所述目标端分布式文件系统。
2.根据权利要求1所述的系统,其特征在于,
所述数据备份任务执行装置,还用于在执行所述全量备份任务时,若所述变化前文件列表中的HFile文件不存在、且所述区域不存在,则通知所述数据备份管理装置区域不存在;
所述数据备份管理装置,还用于根据区域不存在的通知,获取变化后的分区,并生成所述变化后的分区对应的所述全量备份任务。
3.根据权利要求1所述的系统,其特征在于,
所述数据备份管理装置,还用于根据预设的日志文件扫描周期,扫描所述源端Hbase数据库的HLog文件;针对扫描得到的未对应增量备份任务的HLog文件,生成所述HLog文件对应的增量备份任务;根据任务分配算法,将所述增量备份任务分发至各个所述数据备份任务执行装置;
所述数据备份任务执行装置,还用于执行所述增量备份任务;所述执行所述增量备份任务包括:将所述HLog文件的数据复制到所述目标端分布式文件系统。
4.根据权利要求3所述的系统,其特征在于,
所述数据备份任务执行装置,还用于在执行所述增量备份任务时,记录所述增量备份任务的已同步数据的位置信息。
5.根据权利要求3所述的系统,其特征在于,
所述数据备份任务执行装置,还用于在执行所述增量备份任务时,获取所述HLog文件的文件状态;所述文件状态包括写入或关闭;根据所述文件状态,标记将所述增量备份任务的任务状态。
6.根据权利要求3所述的系统,其特征在于,
所述数据备份管理装置,还用于当扫描所述源端Hbase数据库的HLog文件时,若确定任务状态是已完成的所述增量备份任务对应的HLog文件不存在,则清除所述增量备份任务。
7.根据权利要求1所述的系统,其特征在于,还包括:
分布式的配置管理服务装置,用于管理所述全量备份任务;
所述数据备份任务执行装置,具体用于通过配置管理锁获取所述全量备份任务的执行许可。
8.根据权利要求3所述的系统,其特征在于,还包括:
分布式的配置管理服务装置,用于管理所述增量备份任务;
所述数据备份任务执行装置,具体用于通过配置管理锁获取所述增量备份任务的执行许可。
9.一种Hbase数据管理系统,其特征在于,包括:
根据上述权利要求1-8任一项的Hbase数据备份系统;以及,Hbase数据恢复系统。
10.根据权利要求9所述的系统,其特征在于,所述Hbase数据备份系统包括的数据备份管理装置和所述Hbase数据恢复系统包括的数据恢复管理装置部署在第一服务器中,所述Hbase数据备份系统包括的数据备份任务执行装置和所述Hbase数据恢复系统包括的数据备份任务执行装置部署在第二服务器中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811428100.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:停放制动缸缓解装置及轨道列车
- 下一篇:一种算法应用管理平台
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置