[发明专利]一种基于二进制日志解析的MySQL数据库增量同步实现方法

说明书

本发明公开了一种基于二进制日志解析的MySQL数据库增量同步实现方法，属于数据库数据采集技术领域。本发明的基于二进制日志解析的MySQL数据库增量同步实现方法，该方法通过读取、解析MySQL的二进制日志文件，获取、恢复MySQL数据库源库的增量数据，将解析后的增量数据以字符串形式暂存到CMSP消息队列中，借助CMSP的加密压缩传输，解析入库端的CMSP传输的加密压缩传输的消息队列，实现MySQL数据库从源库到MySQL数据库目标库的数据同步。该发明的基于二进制日志解析的MySQL数据库增量同步实现方法高效安全，能够实现数据库有无主键的数据增删改增量同步，具有很好的推广应用价值。

技术领域

本发明涉及数据库数据采集技术领域，具体提供一种基于二进制日志解析的MySQL数据库增量同步实现方法。

背景技术

随着信息时代的飞速发展，大数据、人工智能的兴起，数据作为一种资源，越来越被一些企业、单位重视，数据产出的经济和社会价值也越来越明显。当今社会，企业数据越来越庞大、复杂，呈现数据量巨大、数据种类繁多包括结构化数据和非结构化数据、数据存放单一等特点，这势必给数据带来安全和不可靠的隐患，因此数据的同步和备份显得越来越重要。

MySQL数据库常用的同步方式有以下几种：

1)触发器方式

触发器方式是较为普遍存在的一种同步方式，SQL触发器是存储在数据库目录中的一组SQL语句，该方式根据抽取的要求在源表建立插入、更新、删除三种触发器，每当源表发生变化时，就会由相应的触发器将变化数据写入到增量日志表。

该方法对更新、删除操作时，需要支持原表中存在主键字段，否则无法实现对应记录的更新、删除操作。

2)时间戳方式

时间戳方式是指增量抽取时，抽取进程通过比较系统时间与抽取源表的时间戳字段的值来决定抽取哪些数据。这种方式需要在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。

有的数据库(例如Sql Server)的时间戳支持自动更新，即表的其它字段的数据发生改变时，时间戳字段的值会被自动更新为记录改变的时刻。在这种情下，进行ETL实施时就只需要在源表加上时间戳字段就可以了。

对于不支持时间戳自动更新的数据库，这就要求业务系统在更新业务数据时，通过编程的方式手工更新时间戳字段。使用时间戳方式可以正常捕获源表的插入操作，但对于更新、删除操作则无能为力，需要结合其它机制才能完成。

3)全表删除插入方式

全表删除插入方式是指每次抽取前先删除目标表数据，抽取时全新加载数据。该方式实际上将增量抽取等同于全量抽取。对于数据量不大，全量抽取的时间代价小于执行增量抽取的算法和条件代价时，可以采用该方式。

但是上述各方式均存在一定的缺点：触发器方式需要业务表建立触发器，对业务存在一定的影响，同时对于没有主键的表不能实现更新、删除操作。时间戳方式业务表需要存在标识新旧数据的时间戳字段、只能进行插入操作。全表删除插入方式，高网络负载、性能代价高、无法反映数据的历史状态。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种高效安全，能够实现数据库有无主键的数据增删改增量同步的基于二进制日志解析的MySQL数据库增量同步实现方法。

为实现上述目的，本发明提供了如下技术方案：

一种基于二进制日志解析的MySQL数据库增量同步实现方法，该方法通过读取、解析MySQL的二进制日志文件，获取、恢复MySQL数据库源库的增量数据，将解析后的增量数据以字符串形式暂存到CMSP消息队列中，借助CMSP的加密压缩传输，解析入库端的CMSP传输的加密压缩传输的消息队列，实现MySQL数据库从源库到MySQL数据库目标库的数据同步。