[发明专利]基于监听MySQL数据库binlog变化实现数据同步的方法和系统

说明书

本发明公开了一种基于监听MySQL数据库binlog变化实现数据同步的方法和系统。方法流程包括：将MySQL的binlog传输到公共存储介质；监听binlog发生变化时，发现文件变化事件；根据文件变化事件，从MySQL中获取对应的数据变化内容，解析该数据变化内容为目标数据结构；将解析后的数据加载到目标存储介质中以完成数据同步。系统包括：公共存储介质、监听模块、数据获取模块和数据加载模块；公共存储介质存储MySQL的binlog；监听模块在binlog发生变化时，发布文件变化事件；数据获取模块从MySQL中获取对应的数据变化内容，将其解析为目标数据结构后；通过数据加载模块加载到目标存储介质中存储。本发明无需开发MySQL交互协议，通过简单方法即可实现数据的同步，实现成本低。

技术领域

本发明涉及跨数据库的数据同步领域，尤其是一种基于监听MySQL数据库binlog变化实现数据同步的方法和系统。

背景技术

MySQL是互联网行业最流行的关系型数据库，互联网IT公司绝大部分业务数据都存储在MySQL之中。出于数据备份、建设搜索引擎提升搜索效率、建设数据中台形成企业数据资产等需要，衍生出了要将MySQL中业务数据同步到备份库、搜索引擎、数据中台等需求。而业内将MySQL数据源中的数据同步到目标数据存储介质的方法都是围绕着MySQL的binlog日志机制来完成。在实际生产中根据同步场景主要有以下两种情形：

1、MySQL与MySQL之间数据同步，这种同步场景下，同步方法比较简单：MySQL自带主从复制机制，一个MySQL实例作为master节点，多个MySQL实例作为master节点的slave节点。master节点会开启一个binlog dump线程负责生产binlog日志，slave节点向master发送拉取binlog日志的请求，获取到binlog日志后在本库执行完成数据同步。

2、MySQL与其他数据存储介质同步，在这种同步场景下实现方式比较复杂：一般是企业开发一个应用实现MySQL主从节点间的交互协议，将企业自己开发的应用伪装成MySQL的slave节点获取binlog日志，而后解析成自定义的数据结构，再针对获取到的数据完成目标介质的load逻辑，从而完成数据同步。例如CN108769172A(公开日：2018.11.06)公开了一种数据同步方法，其包以下步骤：利用公用组件(阿里开源框架canal)监听数据库的操作日志；对监听到的操作日志增加包含时间信息和序列信息的版本号，以生成数据变更消息，生成的数据变更消息的格式包括：更改类型、记录更新版本号、更改之前的数据以及更改之后的数据等；将生成的所述数据变更消息投递到消息队列中，进行存储。其可以实现数据的及时同步，并通过版本号确保数据同步的有序性。

上述第一种方式由于在同质数据库中完成同步，同步方法较为简单，但是，其具有很强的局限性，它要求数据源和目标介质都是MySQL，无法适应目前采用的异质数据同步需求。第二种方式是MySQL与异介质之间数据同步的方法，目前采用的方式需要建立MySQL的交互协议，技术门槛很高，通过交互协议完成数据同步的方法实现太复杂。虽然目前已经有许多开源框架帮忙实现MySQL的交互协议，能够完成MySQL和异介质之间的同步工作，但是依然存在很高的学习成本以及工具是否完美契合企业需求等问题，企业仍需要专业学习并对工具进行深度优化后，才能使用该工具。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于监听MySQL数据库binlog变化实现数据同步的方法。旨在解决MySQL与异介质之间数据同步场景下的问题。以较低的代价、简易的方法开发出适合企业自身的MySQL与异介质之间的数据同步应用。

本发明采用的技术方案如下：

一种基于监听MySQL数据库binlog变化实现数据同步的方法，其包括以下步骤：

将MySQL的binlog传输到公共存储介质；