[发明专利]基于GTID的长距离数据同步方法、装置及计算设备

权利要求书

1.一种基于GTID的长距离数据同步方法，其特征在于，所述方法包括：

根据BinLog位点信息或全局事务标识符GTID对第一数据中心或第二数据中心各自对应的数据库的数据进行解析并传输至对端的数据库，以实现第一数据中心与第二数据中心之间的双向数据同步；其中，数据同步过程包括：根据所述第一数据中心存储的BinLog位点信息或全局事务标识符获取当前需要解析的数据；

对所述数据进行解析，补充字段类型、字段名称、主键信息、回环标记、最新更新时间；

将解析后的所述数据传输至所述第二数据中心，以实现所述第一数据中心与所述第二数据中心之间的数据同步；

更新并存储当前的所述BinLog位点信息或所述全局事务标识符GTID；

接收并存储所述第二数据中心传输的解析后的数据；

根据所述数据中的回环标记滤除来源于所述第一数据中心的所述数据；

从当前的第一数据中心的Zookeeper集群中订阅存储有需要进行稽核的元数据信息的数据节点触发稽核；

对所述第一数据中心数据库和第二数据中心数据库的数据按数据块分别计算校验和，并进行比较查找存在数据差异的所述数据块；

持续调整存在数据差异的所述数据块的大小并重复计算比较校验和，直至查找到校验和不一致的差异数据；

对校验和不一致的所述差异数据进一步比较校验和，获取稽核结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一数据中心数据库和第二数据中心数据库的数据按数据块分别计算校验和，并进行比较查找存在数据差异的所述数据块，包括：

对第二数据中心数据库的数据按数据块进行CRC32校验，计算第一校验和并取出数据块边界；

对所述第一数据中心数据库的数据根据所述数据块边界进行CRC32校验，计算第二校验和；

比较所述第一校验和与所述第二校验和，如果所述第一校验和与所述第二校验和一致，则说明所述数据块在第一数据中心数据库与第二数据中心数据库中数据同步；如果所述第一校验和与所述第二校验和不一致，则说明所述数据块在第一数据中心数据库与第二数据中心数据库中存在数据差异。

3.根据权利要求1所述的方法，其特征在于，所述持续调整存在数据差异的所述数据块的大小并重复计算比较校验和，直至查找到校验和不一致的差异数据，包括：

缩小所述数据块的大小；

对缩小的所述数据块分别计算校验和并进行比较，继续查找存在数据差异的所述数据块；

重复缩小存在数据差异的所述数据块的大小并计算和比较校验和，直至存在数据差异的所述数据块中只包括校验和不一致的所述差异数据。

4.根据权利要求2所述的方法，其特征在于，所述对校验和不一致的所述差异数据进一步比较校验和，获取稽核结果，包括：

等待预设时间后重新计算并比较所述第一校验和与所述第二校验和；如果一致，则说明所述差异数据在所述第一数据中心数据库与所述所述第二数据中心数据库中数据同步；

如果不一致，则将所述差异数据的当前计算的所述第一校验和与前一次计算的所述第二校验和进行比较；如果一致，则说明所述差异数据在所述第一数据中心数据库和所述第二数据中心数据库中存在同步延时；

如果不一致，则说明所述差异数据在所述第一数据中心数据库和所述第二数据中心数据库中持续修改。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

针对同一数据，如果所述第一数据中心的所述数据的最新更新时间大于从所述第二数据中心传输的所述数据的最新更新时间，则生成冲突告警信息。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应终端用户请求配置消息队列主题；

根据消息队列主题将所述将解析后的数据存入不同的消息队列中；

响应不同终端用户的数据消费转换请求完成数据订阅消费。