[发明专利]一种基于日志解析的部分回滚解析方法和数据同步系统有效
申请号: | 202010329304.8 | 申请日: | 2020-04-23 |
公开(公告)号: | CN111694893B | 公开(公告)日: | 2023-04-25 |
发明(设计)人: | 黄海明;孙峰;余院兰 | 申请(专利权)人: | 武汉达梦数据库股份有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/17;G06F11/14 |
代理公司: | 深圳市六加知识产权代理有限公司 44372 | 代理人: | 向彬 |
地址: | 430000 湖北省武汉市东湖新技术开*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 日志 解析 部分 方法 数据 同步 系统 | ||
1.一种基于日志解析的部分回滚解析方法,其特征在于,在源端搭建中间数据库,在所述中间数据库创建信息表,源端数据同步服务包括入库线程和日志分析线程,所述日志分析线程和所述入库线程异步执行,所述入库线程配套创建有信息队列;
所述部分回滚解析方法包括:
对源端数据库的日志进行解析得到待同步操作;
所述日志分析线程获取所述待同步操作的事务标识、日志序列号和数据块地址,将所述待同步操作的事务标识、日志序列号和数据块地址添加至所述信息队列;
所述入库线程从所述信息队列中获取所述待同步操作的事务标识、日志序列号和数据块地址,并将所述待同步操作的事务标识、日志序列号和数据块地址添加至所述信息表;
在执行部分回滚操作时,根据所述部分回滚操作所指向的数据块地址和所述信息表,确定所述部分回滚操作所指向的目标事务和所述部分回滚操作所指向的目标操作的日志序列号,以对所述目标事务进行部分回滚。
2.根据权利要求1所述的部分回滚解析方法,其特征在于,在执行部分回滚操作时,根据所述部分回滚操作所指向的数据块地址和所述信息表,确定所述部分回滚操作所指向的目标事务和所述部分回滚操作所指向的目标操作的日志序列号,以对所述目标事务进行部分回滚包括:
在执行部分回滚时,所述入库线程在所述信息表中,查找与所述部分回滚操作所指向的数据块地址相同的数据块地址,以确定所述部分回滚操作所指向的目标操作;
所述入库线程根据所述目标操作的事务标识,确定所述部分回滚操作所指向的目标事务;
确定所述目标操作的日志序列号SCN1,其中,所述日志序列号SCN1为所述部分回滚操作所指向的目标操作的日志序列号。
3.根据权利要求2所述的部分回滚解析方法,其特征在于,所述部分回滚解析方法还包括:
在确定所述部分回滚操作所指向的目标操作后,针对所述目标事务,所述入库线程删除所述信息表中,日志序列号不小于SCN1的操作的相关信息,以清理所述信息表。
4.根据权利要求2所述的部分回滚解析方法,其特征在于,在执行部分回滚操作时,根据所述部分回滚操作所指向的数据块地址和所述信息表,确定所述部分回滚操作所指向的目标事务和所述部分回滚操作所指向的目标操作的日志序列号,以对所述目标事务进行部分回滚还包括:
所述入库线程将所述目标操作的事务标识和所述目标操作的日志序列号SCN1发送给所述日志分析线程,以便于所述日志分析线程将所述目标操作的事务标识和所述目标操作的日志序列号SCN1发送给目标端,进而进行所述目标事务的部分回滚。
5.根据权利要求1所述的部分回滚解析方法,其特征在于,所述日志分析线程获取所述待同步操作的事务标识、日志序列号和数据块地址,将所述待同步操作的事务标识、日志序列号和数据块地址添加至所述信息队列包括:
所述日志分析线程判断所述待同步操作的操作类型;
当所述待同步操作为DML操作时,提取所述待同步操作的事务标识、日志序列号和数据块地址,并将所述待同步操作的事务标识、日志序列号和数据块地址添加至所述信息队列。
6.根据权利要求5所述的部分回滚解析方法,其特征在于,所述日志分析线程判断所述待同步操作的操作类型之后还包括:
当所述待同步操作的操作类型为提交操作或回滚操作时;
获取所述待同步操作的事务标识,并将所述待同步事务的标识添加至所述信息队列。
7.根据权利要求1所述的部分回滚解析方法,其特征在于,所述入库线程从所述信息队列中获取所述待同步操作的事务标识、日志序列号和数据块地址,并将所述待同步操作的事务标识、日志序列号和数据块地址添加至所述信息表包括:
所述入库线程从所述信息队列中取出所述待同步操作;
判断所述待同步操作的操作类型;
当所述待同步操作为DML操作时,从所述信息队列获取所述待同步操作的事务标识、日志序列号和数据块地址;
将所述待同步操作的事务标识、日志序列号和数据块地址添加至所述信息表。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉达梦数据库股份有限公司,未经武汉达梦数据库股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010329304.8/1.html,转载请声明来源钻瓜专利网。