[发明专利]日志数据同步方法、装置、设备及计算机可读存储介质

权利要求书

1.一种日志数据同步方法，其特征在于，所述日志数据同步方法包括以下步骤：

在日志数据的同步过程中，每采集到一条日志数据，则获取所述日志数据的全局事务标识符GTID，并生成所述日志数据的原子标识符AID；

将所述日志数据、所述GTID和所述AID同步写入至缓存数据库Redis和分布式发布订阅消息系统Kafka；

当监测到日志数据的当前采集节点出现异常时，确定日志数据的目标采集节点，并从所述Redis中获取采集时间距离当前时间点最近的日志数据的目标GTID和目标AID；

通过所述目标采集节点，基于所述目标GTID和所述目标AID继续采集日志数据。

2.如权利要求1所述的日志数据同步方法，其特征在于，生成所述日志数据的原子标识符AID的步骤包括：

每采集到一条日志数据，则获取上一条日志数据的AID，并在所述AID中基础上自增1，得到所述日志数据的AID。

3.如权利要求1所述的日志数据同步方法，其特征在于，所述当监测到日志数据的当前采集节点出现异常时，确定日志数据的目标采集节点的步骤包括：

当监测到日志数据的当前采集节点出现异常时，获取日志数据的各采集节点，并获取各采集节点各自对应注册的子节点的注册顺序；

依据各采集节点各自对应注册的子节点的注册顺序，确定日志数据的目标采集节点。

4.如权利要求1所述的日志数据同步方法，其特征在于，所述日志数据同步方法还包括：

在日志数据的同步过程中，定时监测当前连接的数据库是否为主数据库；

若监测到当前连接的数据库为主数据库，则断开与所述主数据库的连接，并获取备数据库地址，且依据所述备数据库地址连接对应的备数据库。

5.如权利要求4所述的日志数据同步方法，其特征在于，所述日志数据同步方法还包括：

在日志数据的同步过程中，定时监测当前连接的备数据库是否出现异常；

若当前连接的备数据库出现异常，则获取新的备数据库地址，并依据新的备数据库地址连接对应的备数据库。

6.如权利要求1-5中任一项所述的日志数据同步方法，其特征在于，所述日志数据同步方法还包括：

在日志数据的同步过程中，每采集到一条日志数据，则获取所述日志数据的第一GTID，并从所述Redis中获取上一条日志数据的第二GTID；

判断所述第一GTID与所述第二GTID是否相邻；

若所述第一GTID和所述第二GTID相邻，则生成所述日志数据的AID，并将所述日志数据、所述第一GTID和所述AID同步写入至所述Redis和所述Kafka；

若所述第一GTID与所述第二GTID不相邻，则依据所述第二GTID继续采集日志数据。

7.一种日志数据同步装置，其特征在于，所述日志数据同步装置包括：

数据采集模块，用于在日志数据的同步过程中，每采集到一条日志数据，则获取所述日志数据的全局事务标识符GTID，并生成所述日志数据的原子标识符AID；

数据同步模块，用于将所述日志数据、所述GTID和所述AID同步写入至缓存数据库Redis和分布式发布订阅消息系统Kafka；

确定模块，用于当监测到日志数据的当前采集节点出现异常时，确定日志数据的目标采集节点，并从所述Redis中获取采集时间距离当前时间点最近的日志数据的目标GTID和目标AID；

所述数据采集模块，还用于通过所述目标采集节点，基于所述目标GTID和所述目标AID继续采集日志数据。