[发明专利]一种针对Log-structured存储引擎的数据冷备方法及系统有效
申请号: | 201810636161.8 | 申请日: | 2018-06-20 |
公开(公告)号: | CN108874592B | 公开(公告)日: | 2020-04-10 |
发明(设计)人: | 梁峰;曹文源 | 申请(专利权)人: | 焦点科技股份有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F16/178;G06F16/18 |
代理公司: | 南京瑞弘专利商标事务所(普通合伙) 32249 | 代理人: | 陈建和 |
地址: | 210032 江苏省南京*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 针对 log structured 存储 引擎 数据 方法 系统 | ||
1.一种针对Log-structured存储引擎的数据冷备份方法,其特征在于,包括如下步骤:
步骤1:先期开发一个用于记录并持久化Log-structured存储引擎数据文件操作日志的数据文件操作日志服务,并将该数据文件操作日志服务集成到基于Log-structured存储引擎的存储服务上,验证持久化的文件操作日志结果,确认数据文件操作日志的功能确实持续、有序地记录了存储引擎所进行的数据文件的创建和删除等操作;
步骤2:先期开发一个具备批量读取数据文件操作日志、获取指定数据文件MD5码、下载指定数据文件等功能的冷备源端服务,并将其部署到基于Log-structured存储引擎的存储服务上;
步骤3:冷备目标端服务向冷备源端服务发送登录验证请求,以建立文件同步操作会话;
步骤4:冷备源端服务验证冷备目标端服务身份,并保持验证会话;
步骤5:冷备目标端服务查询当前的备份进度,并以当前进度为起点,向冷备源端服务请求下一个批次的数据文件操作日志;
步骤6:冷备源端服务从持久化的数据文件操作日志中,以步骤5请求中的进度为起点按序获取一批数据文件操作日志,并返回给冷备目标端服务;
步骤7:冷备目标端服务获取到数据操作日志后,冷备目标端服务逐个顺序执行数据操作日志中的每一条记录;
步骤15:完成当前批次的操作日志的处理后,冷备目标端服务将记录当前批次的最后一个操作日志编号,以作为备份进度;
步骤16:冷备目标端服务以上次备份进度为起点,循环执行步骤5~步骤15。
2.如权利要求1所述的一种针对Log-structured存储引擎的数据冷备份方法,其特征在于:所述步骤7中,对于删除类型的数据操作日志,跳转到步骤8;
步骤8:按照操作日志记录的文件名,删除冷备目标端服务上对应的同名数据文件。
3.如权利要求2所述的一种针对Log-structured存储引擎的数据冷备份方法,其特征在于:所述步骤7中,对于创建类型的数据操作日志,若操作日志中记录的数据文件在冷备目标端服务中不存在,则跳转到步骤9~步骤11;
步骤9:冷备目标端服务向冷备源端服务发送下载指定数据文件的请求;
步骤10:冷备源端服务读取步骤9中指定的数据文件,并返回给冷备目标端服务;
步骤11:冷备目标端服务将从冷备源端服务下载到的数据文件存储到本地。
4.如权利要求3所述的一种针对Log-structured存储引擎的数据冷备份方法,其特征在于:所述步骤7中,若操作日志中记录的冷备目标端服务中已经存在,则跳转到步骤12~步骤14;
步骤12:冷备目标端服务计算当前数据文件的MD5码,并以此MD5码向冷备源端服务发送验证文件一致性的请求;
步骤13:冷备源端服务验证步骤12中指定的数据文件是否与给定的MD5相符,并返回结果给冷备目标端服务;
步骤14:若冷备目标端服务从步骤13获知,待验证的数据文件与备份源不一致,则执行步骤9~步骤11。
5.如权利要求4所述的一种针对Log-structured存储引擎的数据冷备份方法,其特征在于:所述步骤16中,当步骤5获得的文件操作日志为0条时,进入一段时间的休眠,此后继续步骤5~步骤15的循环执行,如此往复。
6.如权利要求5所述的一种针对Log-structured存储引擎的数据冷备份方法,其特征在于:所述步骤16中,当步骤5获得的文件操作日志为0条时,调用线程休眠函数,休眠参数为10秒钟,此后继续步骤5~步骤15的循环执行,如此往复。
7.一种根据权利要求1-6之一所述方法进行的针对Log-structured存储引擎的数据冷备份系统,其特征在于,包括冷备源端服务器和冷备目标端服务器,所述冷备源端服务器中包括相互连接的基于Log-structured存储引擎的存储服务模块、冷备源端服务模块和冷备源端数据文件模块,所述基于Log-structured存储引擎的存储服务模块中集成有数据文件操作日志模块,用于持续、有序地记录存储引擎所进行的数据文件的创建和删除等操作,冷备源端服务模块将基于此记录结果进行有序地文件级数据重演;所述冷备目标端服务器中包括相互连接的数据文件自动同步控制模块、数据文件下载模块和冷备目标端数据文件模块,所述冷备源端服务器通过冷备源端服务模块与冷备目标端服务器的冷备目标服务模块相连。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于焦点科技股份有限公司,未经焦点科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810636161.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:文件处理方法及相关产品
- 下一篇:一种两地三中心容灾方法、装置、设备及系统