[发明专利]基于监听MySQL数据库binlog变化实现数据同步的方法和系统在审
申请号: | 201910595309.2 | 申请日: | 2019-07-03 |
公开(公告)号: | CN110287273A | 公开(公告)日: | 2019-09-27 |
发明(设计)人: | 唐正攀;陈家川 | 申请(专利权)人: | 成都路行通信息技术有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F16/27;G06F16/21 |
代理公司: | 成都九鼎天元知识产权代理有限公司 51214 | 代理人: | 阳佑虹 |
地址: | 610041 四川省成都市高新*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 公共存储介质 数据变化 数据同步 监听 解析 目标存储介质 目标数据结构 数据获取模块 数据加载模块 文件变化事件 监听模块 存储 变化事件 发布文件 交互协议 数据加载 加载 传输 发现 开发 | ||
1.一种基于监听MySQL数据库binlog变化实现数据同步的方法,其特征在于,包括以下步骤:
将MySQL的binlog传输到公共存储介质;
监听所述公共存储介质上的binlog,在binlog发生变化时,发现文件变化事件;
根据文件变化事件,从MySQL中获取对应的数据变化内容,解析该数据变化内容为目标数据结构;
将解析后的数据加载到目标存储介质中以完成数据同步。
2.如权利要求1所述的基于监听MySQL数据库binlog变化实现数据同步的方法,其特征在于,所述将解析后的数据加载到目标存储介质中以完成数据同步包括:
配置数据加载的传输方式;
通过所配置的传输方式,将解析后的数据传输到目标存储介质中。
3.如权利要求2所述的基于监听MySQL数据库binlog变化实现数据同步的方法,其特征在于,所配置的传输方式包括:基于tcp或http协议的同步传输方式,或者基于消息的异步传输方式。
4.如权利要求2或3所述的基于监听MySQL数据库binlog变化实现数据同步的方法,其特征在于,所述根据文件变化事件,从MySQL中获取对应的数据变化内容的过程为:监听是否生成了文件变化事件,在获取到文件变化事件后,向MySQL发起获取数据变化内容的请求,并接收MySQL反馈的数据变化内容。
5.如权利要求4所述的基于监听MySQL数据库binlog变化实现数据同步的方法,其特征在于,所述向MySQL发起获取数据变化内容的请求为:在MySQL中执行SQL语句:SHOW BINLOGEVENTS。
6.一种基于监听MySQL数据库binlog变化的数据同步系统,其特征在于,包括公共存储介质、监听模块、数据获取模块和数据加载模块,其中:
公共存储介质用于存储MySQL的binlog;
监听模块用于监听所述公共存储介质上的binlog,在binlog发生变化时,发布文件变化事件;
数据获取模块用于基于所述文件变化事件,从MySQL中获取对应的数据变化内容,并将所获取的数据变化内容解析为目标数据结构;
所述数据加载模块用于将解析的数据加载到目标存储介质中存储。
7.如权利要求6所述的基于监听MySQL数据库binlog变化的数据同步系统,其特征在于,所述数据加载模块包括协议配置单元和数据传输单元,其中:
协议配置单元用于配置数据传输单元的传输协议;
数据传输单元用于根据所述协议配置单元所配置的传输协议,将解析后的数据传输到目标存储介质中。
8.如权利要求7所述的基于监听MySQL数据库binlog变化的数据同步系统,其特征在于,所述协议配置单元所配置的传输协议包括:基于tcp或http协议的同步传输协议,或者基于消息的异步传输协议。
9.如权利要求7或8所述的基于监听MySQL数据库binlog变化的数据同步系统,其特征在于,所述数据获取模块基于所述文件变化事件,从MySQL中获取对应的数据变化内容的过程为:数据获取模块监听监听模块是否发布了文件变化事件,若是,则向MySQL发起获取数据变化内容的请求,并接收MySQL反馈的数据变化内容。
10.如权利要求9所述的基于监听MySQL数据库binlog变化的数据同步系统,其特征在于,所述数据获取模块向MySQL发起的获取数据变化内容的请求具体为:在MySQL中执行SQL语句:SHOW BINLOG EVENTS。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都路行通信息技术有限公司,未经成都路行通信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910595309.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种可配置实时特征提取方法、装置及系统
- 下一篇:一种电力信息管理系统