[发明专利]HDFS中数据备份的方法在审
申请号: | 201611221011.8 | 申请日: | 2016-12-26 |
公开(公告)号: | CN108241557A | 公开(公告)日: | 2018-07-03 |
发明(设计)人: | 林文辉 | 申请(专利权)人: | 航天信息股份有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F17/30 |
代理公司: | 北京合智同创知识产权代理有限公司 11545 | 代理人: | 李杰 |
地址: | 100093 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 操作命令 数据备份 数据块 备份 备份节点 保存 文件执行 系统性能 数据量 | ||
1.一种HDFS中数据备份的方法,其特征在于,包括:
获取针对所述HDFS中保存的文件执行的操作命令,所述HDFS中保存的至少一个文件包括多个数据块;
确定执行所述操作命令后所述保存的文件中发生变化的数据块,以确定执行所述操作命令前需备份的所述数据块;
备份所述执行操作命令前需备份的数据块,并确定执行操作命令后的备份节点且保存所述备份节点对应的备份节点信息。
2.根据权利要求1所述的数据备份的方法,其特征在于,所述操作命令包括:追加命令、删除命令、还原命令中的任一种或几种的组合。
3.根据权利要求2所述的数据备份的方法,其特征在于,所述操作命令为所述追加命令时,所述确定执行操作命令后所述保存的文件中发生变化的数据块,以确定执行所述操作命令前需备份的所述数据块包括:执行所述操作命令前复制所述文件中最后一个数据块;
比对复制的数据块与执行所述追加命令后文件中与所述复制的数据块对应的数据块,若比对结果不同,则确定所述保存的文件的最后一个数据块为需备份的所述数据块。
4.根据权利要求2所述的数据备份的方法,其特征在于,所述操作命令为所述删除命令时,所述确定执行操作命令后所述保存的文件中发生变化的数据块包括:
根据所述删除命令确定需要删除的所述保存的文件中的数据块,确定需要删除的所述数据块为发生变化的数据块。
5.根据权利要求4所述的数据备份的方法,其特征在于,所述备份所述执行操作命令前需备份的数据块包括:标记需要删除的所述数据块为已删除。
6.根据权利要求2所述的数据备份的方法,其特征在于,所述操作命令为所述还原命令时,所述确定执行操作命令后所述保存的文件中发生变化的数据块包括:
根据所述还原命令确定指定还原节点,并根据指定还原节点以及当前所述保存的文件确定需还原的所述数据块,确定需还原的所述数据块为发生变化的数据块。
7.根据权利要求1所述的数据备份的方法,其特征在于,包括:在所述HDFS中新增一信息表,所述信息表用于保存所述备份节点对应的所述备份节点信息,以方便对所述备份节点信息进行维护。
8.根据权利要求7所述的数据备份的方法,其特征在于,所述信息表中的备份节点信息按时序关系保存。
9.根据权利要求8所述的数据备份的方法,其特征在于,所述信息表设置在所述HDFS的Name Node中。
10.根据权利要求1所述的数据备份的方法,其特征在于,所述获取对所述HDFS中保存的文件需要执行的操作命令之后,所述确定执行操作命令后所述保存的文件中发生变化的数据块之前还包括:
判断所述文件存在执行操作命令前对应的所述备份节点,若存在,则继续确定执行操作命令后所述保存的文件中发生变化的数据块,否则先建立执行操作命令前对应的所述备份节点且保存所述备份节点对应的备份节点信息后,再继续确定执行操作命令后所述保存的文件中发生变化的数据块。
11.根据权利要求10所述的数据备份的方法,其特征在于,所述获取针对所述HDFS中保存的文件执行的操作命令之后,所述判断所述文件存在当前备份节点之前,还包括:
判断所述保存的文件是否为需要保护的文件,若所述保存的文件为需要保护的文件,则继续判断所述文件存在当前备份节点,否则不对所述保存的文件进行数据备份。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于航天信息股份有限公司,未经航天信息股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611221011.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:HDFS中数据异地备份的方法及装置
- 下一篇:一种镜像仓库备份装置和方法