[发明专利]基于共享SST文件的增量备份、恢复方法和系统有效
申请号: | 202211612061.4 | 申请日: | 2022-12-15 |
公开(公告)号: | CN115617580B | 公开(公告)日: | 2023-03-28 |
发明(设计)人: | 宋鹏威;王玉珏;叶小萌 | 申请(专利权)人: | 杭州欧若数网科技有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14 |
代理公司: | 杭州创智卓英知识产权代理事务所(普通合伙) 33324 | 代理人: | 朱秀琴 |
地址: | 311100 浙江省杭州市余杭区仓前街道时代未来之城5幢*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 共享 sst 文件 增量 备份 恢复 方法 系统 | ||
1.一种基于共享SST文件的增量备份恢复方法,其特征在于,所述方法包括:
备份流程,包括:获取数据库中待执行的本地文件,其中,所述数据库采用LSM树架构,所述本地文件包括写前日志和多个SST文件,
确定备份任务对应的备份组,在所述备份组中,获取已经保存的历次备份产生的SST文件的集合,其中,所述SST文件是LSM 树中的主要数据存储文件,形式为有序键值对集合,以及
根据所述SST文件的唯一标识名,判断所述本地文件中的各个SST文件,是否已存储在所述SST文件集合中,若是,将其记为现有SST文件,若否,将其记为新增SST文件,以及
上传所述写前日志和所述新增SST文件至所述备份组,并对各个现有SST文件创建对应的link文件,将所述link文件上传至所述备份组;
恢复流程,包括:获取所述备份组的网络地址,根据所述网络地址下载所述备份组中的所有SST文件和写前日志;
根据所述网络地址下载所述备份组中的所有SST文件和写前日志之后,所述方法还包括:基于所述写前日志、所述现有SST文件和新增SST文件,启动存储引擎,在启动存储引擎之后,所述数据库对外提供服务;
在所述备份流程开启之前,接收用户的自定义操作指令,根据所述自定义操作指令,删除所述写前日志中的冗余数据,在备份流程执行过程中,将删除冗余数据之后的写前日志上传至所述备份组,在所述存储引擎重启之后,多副本应用连接所述数据库时,拉取删除冗余文件之后的写前日志。
2.根据权利要求1所述的方法,其特征在于,根据所述网络地址下载所述备份组中的所有SST文件和写前日志,包括:
根据所述link文件,判断所述备份组中存储的各项SST文件,是否为所述新增SST文件;
若是,直接根据所述网络地址下载所述新增SST文件,
若否,获取所述现有SST文件对应的link文件,并根据所述link文件中记录的链接地址,下载所述现有SST文件。
3.根据权利要求1所述的方法,其特征在于,所述备份组包括一次全量备份和至少一次增量备份,在任一时间点t下,所述备份组中包括一次全量备份和t次增量备份。
4.一种基于共享SST文件的增量备份恢复系统,其特征在于,所述系统包括:备份模块和恢复模块,其中,
所述备份模块用于,获取数据库中待执行的本地文件,其中,所述数据库采用LSM树架构,所述本地文件包括写前日志和多个SST文件,
确定备份任务对应的备份组,在所述备份组中,获取已经保存的历次备份产生的SST文件的集合,其中,所述SST文件是LSM 树中的主要数据存储文件,形式为有序键值对集合,以及
根据所述SST文件的唯一标识名,判断所述本地文件中的各个SST文件,是否已存储在所述SST文件集合中,若是,将其记为现有SST文件,若否,将其记为新增SST文件,以及
上传所述写前日志和所述新增SST文件至所述备份组,并对各个现有SST文件创建对应的link文件,将所述link文件上传至所述备份组;
所述恢复模块用于,获取所述备份组的网络地址,根据所述网络地址下载所述备份组中的所有SST文件和写前日志;
根据所述网络地址下载所述备份组中的所有SST文件和写前日志之后,基于所述写前日志、所述现有SST文件和新增SST文件,启动存储引擎,在启动存储引擎之后,所述数据库对外提供服务;
在备份流程开启之前,接收用户的自定义操作指令,根据所述自定义操作指令,删除所述写前日志中的冗余数据,在备份流程执行过程中,将删除冗余数据之后的写前日志上传至所述备份组,在所述存储引擎重启之后,多副本应用连接所述数据库时,拉取删除冗余文件之后的写前日志。
5.根据权利要求4所述的系统,其特征在于,所述恢复模块根据所述网络地址下载所述备份组中的所有SST文件和写前日志,包括:
根据所述link文件,判断所述备份组中存储的各项SST文件,是否为所述新增SST文件;
若是,直接根据所述网络地址下载所述新增SST文件,
若否,获取所述现有SST文件对应的link文件,并根据所述link文件中记录的链接地址,下载所述现有SST文件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州欧若数网科技有限公司,未经杭州欧若数网科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211612061.4/1.html,转载请声明来源钻瓜专利网。