[发明专利]数据处理方法、装置、电子设备及计算机存储介质在审
申请号: | 201910682744.9 | 申请日: | 2019-07-26 |
公开(公告)号: | CN112306743A | 公开(公告)日: | 2021-02-02 |
发明(设计)人: | 吴迪;郭鹏;楼江航 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F16/23;G06F16/27 |
代理公司: | 北京合智同创知识产权代理有限公司 11545 | 代理人: | 李杰;赵海娇 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 计算机 存储 介质 | ||
本发明实施例提供了一种数据处理方法、装置、电子设备及计算机存储介质。该数据处理方法包括:接收针对分布式数据库的备份请求,根据所述备份请求指示对应的各数据库实例进行全量数据备份;在确定各数据库实例完成所述全量数据备份后,对用于进行跨数据库实例的数据更新的分布式事务进行锁定;获取记录有各数据库实例在设定时间段内的增量数据的日志文件的信息;解锁所述分布式事务,并根据各所述数据库实例的备份结果和所述日志文件的信息,生成所述分布式数据库的数据备份集。该数据处理方法可以在备份数据库时最小化侵入用户业务。
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种数据处理方法、装置、电子设备及计算机存储介质。
背景技术
数据库备份和恢复是用户数据安全的重要保障,而随着用户业务规模的增加,数据库存储的数据量和存储负载也呈指数级增长。为了提升单机数据库性能,提供了一种数据库分库分表(MySQL Sharding)技术。
数据库分库分表技术是一种根据分库分表算法对数据库和/或数据表进行拆分并分布存储的技术,在具有分库分表的分布式数据库使用场景下,数据库备份和恢复操作就更为重要。
目前,针对上述使用场景下的分布式数据库,使用的数据备份和恢复方案主要有两种:
1.针对每个数据库实例(如MySQL实例)分别进行备份,后续使用备份的数据进行恢复。这种方式只能保证单个数据库实例(即物理分库)的数据一致性,无法保证全局的数据一致性。
2.在备份时,对数据库全局禁止写入,之后分别针对每个数据库实例(如MySQL实例)进行备份,后续使用备份的数据进行恢复。这种方式虽然保证了全局的数据一致性,但是对用户业务侵入较大,数据库在一定时间内无法提供数据写入服务,影响用户使用。
发明内容
有鉴于此,本发明实施例提供一种数据处理方案,以解决上述部分或全部问题。
根据本发明实施例的第一方面,提供了一种数据处理方法,其包括:接收针对分布式数据库的备份请求,根据所述备份请求指示对应的各数据库实例进行全量数据备份;在确定各数据库实例完成所述全量数据备份后,对用于进行跨数据库实例的数据更新的分布式事务进行锁定;获取记录有各数据库实例在设定时间段内的增量数据的日志文件的信息;解锁所述分布式事务,并根据各所述数据库实例的备份结果和所述日志文件的信息,生成所述分布式数据库的数据备份集。
根据本发明实施例的第二方面,提供了一种数据处理方法,其包括:接收针对分布式数据库的恢复请求,并确定所述恢复请求指示的数据备份集,所述数据备份集为根据第一方面数据处理方法生成的数据备份集;根据所述数据备份集,指示对应的各数据库实例进行全量恢复操作。
根据本发明实施例的第三方面,提供了一种数据处理装置,其包括:全量备份模块,用于接收针对分布式数据库的备份请求,根据所述备份请求指示对应的各数据库实例进行全量数据备份;锁定模块,用于在确定各数据库实例完成所述全量数据备份后,对用于进行跨数据库实例的数据更新的分布式事务进行锁定;第一获取模块,用于获取记录有各数据库实例在设定时间段内的增量数据的日志文件的信息;解锁模块,用于解锁所述分布式事务,并根据各所述数据库实例的备份结果和所述日志文件的信息,生成所述分布式数据库的数据备份集。
根据本发明实施例的第四方面,提供了一种数据处理装置,其包括:备份集确定模块,用于接收针对分布式数据库的恢复请求,并确定所述恢复请求指示的数据备份集,所述数据备份集为根据第三方面数据处理装置生成的数据备份集;全量恢复模块,用于根据所述数据备份集,指示对应的各数据库实例进行全量恢复操作。
根据本发明实施例的第五方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如第一方面或第二方面所述的数据处理方法对应的操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910682744.9/2.html,转载请声明来源钻瓜专利网。