[发明专利]一种数据同步方法及系统在审
申请号: | 201810488892.2 | 申请日: | 2018-05-21 |
公开(公告)号: | CN108769172A | 公开(公告)日: | 2018-11-06 |
发明(设计)人: | 袁奎 | 申请(专利权)人: | 杭州有赞科技有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F17/30 |
代理公司: | 杭州裕阳联合专利代理有限公司 33289 | 代理人: | 姚宇吉 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据同步 操作日志 时间信息 递增 监听数据库 递增序列 公用组件 生成数据 数据变更 消息队列 消息投递 序列信息 周期更新 存储 变更 记录 保证 维护 | ||
1.一种数据同步方法,其特征在于,包括以下步骤:
利用公用组件监听数据库的操作日志;
对监听到的操作日志增加包含时间信息和序列信息的版本号,以生成数据变更消息;
将生成的所述数据变更消息投递到消息队列中,进行存储。
2.根据权利要求1所述的数据同步方法,其特征在于,所述利用公用组件监听数据库的操作日志,包括:
利用公用组件监听mysql的binlog。
3.根据权利要求1或2所述的数据同步方法,其特征在于,所述公用组件为canal。
4.根据权利要求1或2所述的数据同步方法,其特征在于,所述对监听到的操作日志增加包含时间信息和序列信息的版本号,以生成数据变更消息,包括以下步骤:
获取当前的系统时间戳,并生成当前操作日志的序列号;
根据所述时间戳和所述序列号,生成所述版本号;
将所述版本号添加至所述操作日志,生成数据变更消息。
5.根据权利要求4所述的数据同步方法,其特征在于,根据所述时间戳和所述序列号,生成所述版本号,包括以下步骤:
将所述时间戳放在高位,将所述序列号放在低位,生成所述版本号。
6.一种数据同步系统,其特征在于,包括监听模块、处理模块以及投递模块;
所述监听模块,用于利用公用组件监听数据库的操作日志;
所述处理模块,用于对监听到的操作日志增加包含时间信息和序列信息的版本号,以生成数据变更消息;
所述投递模块,用于将生成的所述数据变更消息投递到消息队列中,进行存储。
7.根据权利要求6所述的数据同步系统,其特征在于,所述监听模块包括监听单元;
所述监听单元,用于利用公用组件监听mysql的binlog。
8.根据权利要求6或7所述的数据同步系统,其特征在于,所述公用组件为canal。
9.根据权利要求6或7所述的数据同步系统,其特征在于,所述处理模块包括获取单元、生成单元以及添加单元;
所述获取单元,用于获取当前的系统时间戳,并生成当前操作日志的序列号;
所述生成单元,用于根据所述时间戳和所述序列号,生成所述版本号;
所述添加单元,用于将所述版本号添加至所述操作日志,生成数据变更消息。
10.根据权利要求9所述的数据同步系统,其特征在于,所述生成单元还用于将所述时间戳放在高位,将所述序列号放在低位,生成所述版本号。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州有赞科技有限公司,未经杭州有赞科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810488892.2/1.html,转载请声明来源钻瓜专利网。