[发明专利]一种基于日志解析的部分回滚解析方法和数据同步系统

说明书

本发明公开了一种基于日志解析的部分回滚解析方法和数据同步系统，该部分回滚解析方法包括：对源端数据库的日志进行解析得到待同步操作；日志分析线程获取待同步操作的事务标识、日志序列号和数据块地址，将待同步操作的事务标识、日志序列号和数据块地址添加至信息队列；入库线程从信息队列中获取待同步操作的事务标识、日志序列号和数据块地址，并将待同步操作的事务标识、日志序列号和数据块地址添加至信息表；在执行部分回滚操作时，根据部分回滚操作所指向的数据块地址和信息表，确定部分回滚操作所指向的目标事务和部分回滚操作所指向的目标操作的日志序列号，以对目标事务进行部分回滚。

技术领域

本发明属于数据同步技术领域，更具体地，涉及一种基于日志解析的部分回滚解析方法和数据同步系统。

背景技术

基于日志解析来进行ORACLE数据库到其他异构数据库的数据同步，即是通过实时读取ORACLE数据库的REDO日志文件或归档日志文件，捕获出增量的REDO记录，然后分析REDO记录中改变向量(Change vector)的内容解析出ORACLE数据库的DML操作以及相应的数据，将这些信息转换后发送到目标数据库进行SQL逆向恢复，然后执行同步。

为了进行事务级的同步，支持事务部分回滚同步，捕获分析同步线程在解析ORACLE的REDO记录时，需要按照SCN的顺序将同一事务的所有REDO操作进行归集，并且按照事务内部操作的顺序，对DML操作进行内部编号。在解析出数据库的部分回滚操作后，首先根据回滚操作的DBA找到所属回滚事务，然后根据DBA定位回滚事务中的操作行编号，同步过程中删除大于回滚行编号之后的DML操作，即可完成部分回滚的同步。

为此，对于源端ORACLE数据库上的所有未提交的待同步事务，需要在内存中申请空间用于缓存该事务各操作的所有DBA信息以及相对应的操作编号。这样，当捕获到事务的部分回滚操作后，就能从缓存DBA信息中定位到需删除的回滚操作。但是，当源端ORACLE数据库执行大事务操作后，内存中需要缓存大量事务DML操作的DBA信息，造成源端系统内存资源紧张。针对这种问题，需要对这种部分回滚方式进行优化，减少源端日志分析的内存占用。

鉴于此，克服该现有技术产品所存在的不足是本技术领域亟待解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于日志解析的部分回滚解析方法和数据同步系统，其目的在于，采用中间数据库来管理DBA信息可以避免占用源端数据库的内存资源，保证源端数据库运行的性能，而且不需要进行复杂的内存和文件的交换算法，易于实现。此外，日志分析线程和入库线程异步执行，互不干扰，不会影响日志分析线程的效率，保证了同步的效率。

为实现上述目的，按照本发明的一个方面，提供了一种基于日志解析的部分回滚解析方法，在源端搭建中间数据库，在所述中间数据库创建信息表，源端数据同步服务包括入库线程和日志分析线程，所述日志分析线程和所述入库线程异步执行，所述入库线程配套创建有信息队列；

所述部分回滚解析方法包括：

对源端数据库的日志进行解析得到待同步操作；

所述日志分析线程获取所述待同步操作的事务标识、日志序列号和数据块地址，将所述待同步操作的事务标识、日志序列号和数据块地址添加至所述信息队列；

所述入库线程从所述信息队列中获取所述待同步操作的事务标识、日志序列号和数据块地址，并将所述待同步操作的事务标识、日志序列号和数据块地址添加至所述信息表；

在执行部分回滚操作时，根据所述部分回滚操作所指向的数据块地址和所述信息表，确定所述部分回滚操作所指向的目标事务和所述部分回滚操作所指向的目标操作的日志序列号，以对所述目标事务进行部分回滚。