[发明专利]一种DB2数据库数据同步方法、装置、系统在审
申请号: | 201910842876.3 | 申请日: | 2019-09-06 |
公开(公告)号: | CN110737720A | 公开(公告)日: | 2020-01-31 |
发明(设计)人: | 张义强;周虎;吴杰;胡睿哲;姜浩 | 申请(专利权)人: | 苏宁云计算有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27 |
代理公司: | 11111 北京市万慧达律师事务所 | 代理人: | 陈怡 |
地址: | 210000 江苏省南*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 源库 目标库 数据同步 同步请求 申请 分表 数据同步请求 映射关系配置 断点续传 解析结果 日志数据 实时获取 同步场景 同步方式 同步过程 同步目标 同步的 同步源 中间件 集群 解析 入侵 场景 监控 协调 | ||
1.一种DB2数据库数据同步方法,其特征在于,所述方法包括:
获取针对待同步源库和对应的待同步目标库的数据同步请求;
若所述请求为全量同步请求,则根据所述源库的数据对所述目标库进行全量同步;
若所述请求为增量同步请求,则实时获取所述源库产生的日志数据并进行解析,根据解析结果对所述目标库进行增量同步。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述源库的分库信息和对应的目标库的分库信息;
根据中间件,建立所述源库的分库与所述目标库的分库之间的通信连接。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
创建集群管理节点,根据所述集群管理节点实时监控所述源库的分库至所述目标库的分库的同步进程;
若所述源库的任一分库至所述目标库的分库的同步进程存在异常,则停止所述源库的其余分库至所述目标库的分库的同步进程。
4.根据权利要求1所述的方法,其特征在于,所述实时获取所述源库产生的日志数据并进行解析具体包括:
在Java端调用jni方法,进入c程序;
在所述c程序中解析所述Java端传递的数据同步请求参数;其中,所述数据同步请求参数包括数据库位点;
确定增量同步的起始位点,获取在所述起始位点后产生的所述日志数据;
根据预定义的DB2日志协议对所述日志数据进行解析,得到解析结果;
根据回调Java方法,将所述解析结果返回至所述Java端。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
监控所述增量同步进程;
若所述增量同步出现异常中断,实时记录并存储在所述异常中断前最近一次增量同步至所述目标库时的位点;
将所述位点确定为异常中断点,根据所述异常中断点再次进行增量同步以实现增量同步过程中的断点续传。
6.根据权利要求1所述的方法,其特征在于,所述根据解析结果对所述待同步目标库进行增量同步具体包括:
判断所述解析结果的类型;
当所述解析结果为提交或回滚操作时,将所述提交或回滚操作写入同一事务队列;
判断处理所述提交或回滚操作的事务在所述事务队列中的顺序;
根据先后顺序依次将对应的提交或回滚操作写入所述目标库。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
监控所述全量同步进程;
实时记录并存储在进行全量同步时所述源库的表名称;
若所述全量同步出现异常中断,根据实时记录并存储的所述源库的表名称定位得到异常中断点,根据所述异常中断点再次进行全量同步以实现全量同步过程中表级别的断点续传。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
对所述源库的表的每一行进行排序,获取排序后每一行的主键值;
实时记录并存储在进行所述全量同步时所述源库的表的每一行的主键值;
若所述全量同步出现异常中断,根据实时记录并存储的所述源库的表的每一行的主键值定位得到异常中断点,根据所述异常中断点再次进行全量同步以实现全量同步过程中记录级别的断点续传。
9.一种DB2数据库数据同步装置,其特征在于,所述装置包括:
获取模块,用于获取针对待同步源库和对应的待同步目标库的数据同步请求;
第一同步模块,用于若所述请求为全量同步请求,则根据所述源库的数据对所述目标库进行全量同步;
第二同步模块,用于若所述请求为增量同步请求,则实时获取所述源库产生的日志数据并进行解析,根据解析结果对所述目标库进行增量同步。
10.一种计算机系统,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获取针对待同步源库和对应的待同步目标库的数据同步请求;
若所述请求为全量同步请求,则根据所述源库的数据对所述目标库进行全量同步;
若所述请求为增量同步请求,则实时获取所述源库产生的日志数据并进行解析,根据解析结果对所述目标库进行增量同步。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏宁云计算有限公司,未经苏宁云计算有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910842876.3/1.html,转载请声明来源钻瓜专利网。