[发明专利]数据同步异常时数据一致性校验方法、设备及存储介质

说明书

本发明公开了一种数据同步异常时数据一致性校验方法、设备及存储介质，所述方法包括：首先将同步事务的事务ID插入目标端数据库中辅助表中；然后当接收到报错通知时，判断当前的同步事务处于何种操作；在为事务变更操作时，判断报错通知是否属于预设的错误类型，并在属于时回滚已进行的同步操作并重新将该同步事务的事务ID插入辅助表中并重新进行事务同步操作，在为事务提交操作时，查询辅助表中是否包含该同步事务的事务ID，并在不包含时将该事务的事务ID插入辅助表中并重新进行同步操作。本发明在同步过程中，同步事务开始时先在辅助表中登记事务标签，如果同步过程中出错，则通过根据当前的操作来做不同的判断处理，以保证同步数据的一致性。

技术领域

本发明涉及数据库同步技术领域，具体涉及一种数据同步异常时数据一致性校验方法、设备及存储介质。

背景技术

在数据库数据实时同步技术中，其中基于数据库日志分析的数据实时同步技术因其具备支持异构操作系统和数据库平台、对源端数据库系统侵入性较小、数据同步延时低等特点，而得到广泛研究和应用。异构数据库系统之间的日志格式及日志内容差异较大，因此数据同步源端数据库的日志内容并不能直接应用到目标数据库中。基于日志分析的数据实时同步技术，一般原理是捕获源端数据库的增量日志内容，然后通过网络发送至目标端，在目标端使用SQL逆向生成技术恢复源端数据库的事务操作SQL语句，再通过通用的数据库访问接口如ODBC、OCI等接口，执行恢复后的SQL语句，实现源和目标端的数据实时同步。

进一步的，通过使用上述数据实时同步技术构建的数据库数据实时同步装置主要包括如下组成模块，在同步系统源端，同步软件日志读取模块实时读取源端数据库日志文件，捕获源端数据库上的事务增量日志内容；同步软件日志分析模块实时解析增量日志内容，提取日志中的事务ID、操作表ID、事务的操作类型如INSERT、UPDATE、 DELETE，事务操作时间戳、日志LSN值、操作数据等，然后将其组装成特定格式的消息，存放在发送队列中；同步软件日志发送模块，将发送队列中的消息通过TCP/IP网络发送到同步系统的目标端。

在同步系统目标端，同步软件日志接收模块，接收源端发送的消息，并解析消息内容，根据事务ID将同属于一个事务的操作进行缓存，当接收到事务的COMMIT消息时，则交由日志执行模块进行同步执行；同步软件日志执行模块，根据事务操作内容，构建SQL语句，在目标数据库同步执行。

上述数据库数据实时同步技术中，目标端数据同步服务在目标端数据库上进行数据入库时，存在目标端同步服务和目标端数据库之间网络异常或目标端数据库发生故障当机的情况，都有可能会造成同步事务的重复执行，影响同步数据的一致性。

因而现有技术还有待于改进和提高。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种数据同步异常时数据一致性校验方法、设备及存储介质，以解决目前数据同步过程中出现异常时而导致的同步数据不一致的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种数据同步异常时数据一致性校验方法，包括如下步骤：

接收源端发送的日志消息包，并将日志消息包中的同步事务的事务ID插入目标端数据库中创建的辅助表中后进行事务同步操作；

当接收到目标端数据库的报错通知时，判断当前的同步事务处于何种操作，其中所述操作包括依次执行的事务变更操作和事务提交操作；

在当前操作为事务变更操作时，判断报错通知是否属于预设的错误类型，并在报错通知属于预设的错误类型时回滚已进行的同步操作并重新将该同步事务的事务ID插入辅助表中并重新进行事务同步操作；

在当前操作为事务提交操作时，重新连接目标端数据库，并查询辅助表中是否包含该同步事务的事务ID，并在不包含时将该同步事务的事务ID插入辅助表中并重新进行事务同步操作。