[发明专利]分布式数据库增量数据同步方法、设备及存储介质在审
申请号: | 201810533666.1 | 申请日: | 2018-05-29 |
公开(公告)号: | CN110543513A | 公开(公告)日: | 2019-12-06 |
发明(设计)人: | 刘素京;丁鹏;张军 | 申请(专利权)人: | 中兴通讯股份有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27 |
代理公司: | 11308 北京元本知识产权代理事务所 | 代理人: | 金海荣<国际申请>=<国际公布>=<进入 |
地址: | 518000 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式数据库 变化数据 批处理 变化日志 存储介质 大数据量 分发策略 解析数据 实时同步 数据变化 数据传输 同步过程 同步数据 增量数据 键信息 日志 分发 捕捉 转化 | ||
1.一种分布式数据库增量数据同步方法,其特征在于,所述方法包括步骤:
获取数据库管理系统DBMS中的变化数据;
将所述变化数据转化为数据变化日志;
解析所述数据变化日志,以生成对应的结构化查询语言SQL语句;
通过所述SQL语句并按照分布式数据库表的分发信息,将所述变化数据同步至分布式数据库。
2.根据权利要求1所述的分布式数据库增量数据同步方法,其特征在于,若解析的所述数据变化日志的操作类型为插入INSERT,则将所述变化数据同步至分布式数据库包括:
获取所述数据变化日志中存放的表的名称和字段修改值;
根据所述字段修改值,获取字段名列表和字段值列表;
从所述字段名列表和字段值列表中选择一个字段值;
判断所述字段值是否为NULL;
若是,则不同步所述字段值;
若否,则同步所述字段值。
3.根据权利要求2所述的分布式数据库增量数据同步方法,其特征在于,在判断不同步所述字段值或者同步所述字段值之后,所述方法还包括:
判断所述字段值是否为所述字段名列表和字段值列表中最后一个字段;
若是,则下发所述字段值至预设的存储节点;
若否,则重新从所述字段名列表和字段值列表中选择另一个字段值。
4.根据权利要求1所述的分布式数据库增量数据同步方法,其特征在于,若解析的所述数据变化日志的操作类型为更新UPDATE,则将所述变化数据同步至分布式数据库包括:
获取所述数据变化日志中存放的表的名称和字段修改值;
获取所述字段修改值中出现的字段名和字段值以拼出预设类型的子句;
查询所述表的分发键信息;
在所述字段值中过滤出所述表在所述数据库中的分发键字段并转化成预设的条件;
同步所述字段值至所述数据库。
5.根据权利要求1所述的分布式数据库增量数据同步方法,其特征在于,若解析的所述数据变化日志的操作类型为删除DELETE,则将所述变化数据同步至分布式数据库包括:
获取所述数据变化日志中存放的表的名称;
查询所述表的分发键信息;
在所述字段值中过滤出所述表在所述数据库中的分发键字段并转化成预设的条件;
同步所述字段值至所述数据库。
6.根据权利要求1所述的分布式数据库增量数据同步方法,其特征在于,若解析的所述数据变化日志的操作类型不是INSERT、UPDATE、DELETE,则所述方法还包括:
判断所述变化数据是否同步至所述数据库;
若否,则上传告警。
7.根据权利要求6所述的分布式数据库增量数据同步方法,其特征在于,在上传告警之后,所述方法还包括:
对上报的告警类型进行分类处理;
判断所述告警是否是严重告警;
若是,则产生告警提示。
8.根据权利要求1所述的分布式数据库增量数据同步方法,其特征在于,在将所述变化数据同步至分布式数据库之后,所述方法还包括:
根据所述SQL语句中涉及的表的分发键信息和分布属性,完善所述SQL语句;
通过完善后的SQL语句将数据发送至预设的数据存储节点,以使所述数据存储节点执行完善后的SQL语句并得到执行结果;
接收并校验所述执行结果。
9.一种设备,其特征在于,所述设备包括处理器以及存储器;
所述处理器用于执行存储器中存储的分布式数据库增量数据同步程序,以实现权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1-8任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中兴通讯股份有限公司,未经中兴通讯股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810533666.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种信息同步方法,装置及系统
- 下一篇:一种对个人数据库的管理方法及系统