[发明专利]一种基于数据变更收集技术的数据同步方法

说明书

本发明涉及数据同步技术领域，公开了一种基于数据变更收集技术的数据同步方法，包括以下步骤：步骤S1.主数据库实时监控二进制日志的变更操作，获取变更日志数据包；步骤S2.选择发布方式，将所述变更日志数据包发布到消息管道；步骤S3.从数据库订阅所述消息管道进行数据同步。使用了此种数据同步方法的数据库可以通过消息订阅将数据以实施增量（事务级）的方式推送到远端，实现数据同步，确保以相同的顺序查看和处理所有更改。本发明通过消息订阅将数据以实施增量（事务级）的方式推送到远端，实现数据同步，确保以相同的顺序查看和处理所有更改。

技术领域

本发明涉及数据同步技术领域，具体地说，是一种基于数据变更收集技术的数据同步方法，用于通过消息订阅将数据以实施增量（事务级）的方式推送到远端，实现数据同步，确保以相同的顺序查看和处理所有更改。

背景技术

监控数据库并且在数据变动的时候获得通知其实一直是一件很复杂的事情。目前监控数据库中大多选择关系型数据库，这是因为关系型数据库的触发器可以做到监控数据库的功能，但是关系型数据库的触发器只对特定的数据库有效，而且通常只能更新数据库内的状态，无法和外部的进程通信。此外，一些其他的数据库提供了监控数据变动的API或者框架，但是没有一个标准，每种数据库的实现方式都是不同的，并且需要大量特定的知识和理解特定的代码才能运用。因此，亟需一种数据库，此数据库支持基于数据变更收集技术的数据同步方法，使用了此种数据同步方法的数据库可以通过消息订阅将数据以实施增量（事务级）的方式推送到远端，实现数据同步，确保以相同的顺序查看和处理所有更改。

发明内容

本发明的目的在于提供一种基于数据变更收集技术的数据同步方法，通过消息订阅将数据以实施增量（事务级）的方式推送到远端，实现数据同步，确保以相同的顺序查看和处理所有更改。

本发明通过下述技术方案实现：一种基于数据变更收集技术的数据同步方法，包括：

步骤S1.主数据库实时监控二进制日志的变更操作，获取变更日志数据包；

步骤S2.选择发布方式，将所述变更日志数据包发布到消息管道；

步骤S3.从数据库订阅所述消息管道进行数据同步。

本技术方案是基于主服务器在二进制日志中跟踪所有对数据库的更改，因此，要进行复制，必须在主服务器上启用二进制日志，每个从服务器从主服务器接收主服务器已经记录到日志的数据，当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，并在本机上执行相同的更新。然后封锁并等待主服务器通知新的更新。从服务器执行备份不会干扰主服务器，在备份过程中主服务器可以继续处理更新。

为了更好地实现本发明，进一步地，步骤S1包括：

步骤S1.1.在二进制日志中预设临时表和时间戳配置表；

步骤S1.2.切换临时表的空间，清空临时表的数据；

步骤S1.3.将根据时间戳配置表读取到的数据插入到临时表中；

步骤S1.4.从临时表中读取出数据的最大时间戳，并且更新到时间戳配置表中。

在本技术方案中，在二进制日志中选用时间戳的增量同步，首先需要临时表，用来存取每次读取的待同步的数据，也就是把每次从原表中根据时间戳读取到数据先插入到临时表中，每次在插入前，先清空临时表的数据；其次，还需要创建一个时间戳配置表，用于存放每次读取的处理完的数据的最后的时间戳；再其次，每次从原表中读取数据时，先查询时间戳配置表，然后就知道了查询原表时的开始时间戳；紧接着，根据时间戳读取到原表的数据，插入到临时表中，然后再将临时表中的数据插入到目标表中最后从缓存表中读取出数据的最大时间戳，并且更新到时间戳配置表中，能保证在机房故障发生时，RPO=0。

为了更好地实现本发明，进一步地，步骤S1.2包括：

查看临时表数据文件信息、修改临时表空间并删除原有的临时表空间及相关数据文件实现临时表空间的切换。