[发明专利]数据库之间的数据同步方法和系统

权利要求书

1.一种数据库之间的数据同步方法，所述方法包括：

源服务器读取源数据库的日志文件，并将所述日志文件解析成可识别文本；其中，所述日志文件为binlog日志文件；

所述源服务器从所述可识别文本中筛选SQL语句，并将获得的SQL语句转换成标准SQL语句；筛选的所述SQL语句用于对数据库中发生变化的数据进行操作；

所述源服务器将所述标准SQL语句封装成订阅消息并发送至kafka集群；

所述kafka集群在接收到所述订阅消息后，向各目标服务器进行广播；

所述目标服务器将SQL_consumer与所述kafka集群建立长连接，通过所述长连接从所述kafka集群中拉取订阅消息，对所述订阅消息进行消费；在SQL_consumer消费所述订阅消息时，所述kafka集群通过offset记录当前消费位置，不同SQL_consumer同时消费所述订阅消息时，消费的记录位置offset互不干扰；

所述SQL_consumer保存消费的所述订阅消息的偏移量，当SQL_consumer消费订阅消息时，offset线性向前驱动，使得所述订阅消息依顺序被消费；

所述目标服务器在获得所述订阅消息后，对所述订阅消息进行解封装得到所述标准SQL语句，执行所述标准SQL语句，以将所述源数据库中发生变化的数据同步至目标数据库，实现不同数据库集群的数据同步。

2.根据权利要求1所述的方法，其特征在于，所述SQL语句至少包括以下之一：新增语句、插入语句和删除语句；所述从所述可识别文本中筛选SQL语句，并将获得的SQL语句转换成标准SQL语句包括：

所述源服务器获取与所述新增语句、插入语句和/或删除语句对应的关键词；

所述源服务器从所述可识别文本中筛选与所述关键词匹配的SQL语句，或者，将可识别文本中与所述关键词不匹配的SQL语句进行过滤，得到筛选的SQL语句，并将获得的SQL语句转换成标准SQL语句。

3.根据权利要求1所述的方法，其特征在于，所述标准SQL语句，至少包括以下之一：标准的新增语句、标准的插入语句和标准的删除语句；

所述执行所述标准SQL语句，以将所述源数据库中发生变化的数据同步至目标数据库包括：

所述目标服务器执行所述标准的新增语句，以将所述源数据库中更新的业务数据同步更新至目标数据库；和/或，

所述目标服务器执行所述标准的插入语句，以将所述源数据库中插入的业务数据同步插入至目标数据库；和/或，

所述目标服务器执行所述标准的删除语句，以删除目标数据库中与所述源数据库中被删除的业务数据相对应的数据。

4.根据权利要求1至3任一项所述的方法，其特征在于，还包括：

所述源服务器通过指定分区的方式，将所述订阅消息发送至所述kafka集群中所指定的分区；或者，

所述源服务器通过均衡策略的方式，将所述订阅消息发送至所述kafka集群中对应不同的分区。

5.根据权利要求1至3任一项所述的方法，其特征在于，还包括：

zookeeper系统监控所述源服务器、所述kafka集群和所述目标服务器的工作状态，根据所述工作状态生成状态列表，以便根据所述状态列表从所述源服务器、所述kafka集群和所述目标服务器中查找出现异常的设备。