[发明专利]一种查询建表事务的拆分同步方法及系统

说明书

本发明公开一种查询建表事务的拆分同步方法，包括以下步骤：步骤S1、捕获源数据库中的查询建表事务的事务日志；步骤S2、将所述事务日志中的DDL信息拆分出来，投递所述DDL信息，执行所述DDL信息的同步操作；步骤S3、将所述事务日志中的插入操作日志拆分成多个子事务日志，投递所有所述子事务日志，并行执行所有所述子事务日志的同步操作。本发明通过拆分事务日志的方法提高了同步效率，降低了同步时延。

技术领域

本发明涉及数据库中数据同步技术领域，具体涉及一种查询建表事务的拆分同步方法及系统。

背景技术

基于数据库日志解析的数据库数据实时同步技术，在数据库异地容灾、应急灾备、多业务中心、实时异构资源整合等应用场景下使用广泛。这种数据实时同步技术的主要技术原理是，源端同步进程实时读取数据库的在线或归档日志文件获取数据库的事务操作，然后将这些事务操作转换为内部格式的消息，直接通过TCP/IP网络传输到目标端的同步进程；在同步系统目标端，同步进程接收到源端发送过来的消息后，进行消息的分析并将源端的事务操作恢复成SQL操作语句，使用数据库本地接口在目标数据库上执行，实现源数据库和目标数据库的数据同步。这种数据同步技术避免使用触发器、影子表等技术来获取源数据库的增量数据，对源数据库的影响较小；同时由于在目标端使用了通用的数据库接口来进行增量数据同步，使同步系统支持异构数据库系统的数据实时同步；目标数据库支持读写访问，与源数据库构成一个真正的“双活”系统。基于此，该技术具有较好的研究和发展前景。

但是，为了保证源数据库和目标数据库数据同步的一致性，基于数据库日志解析的数据实时同步系统通常以事务为最小复制单位，目标端的同步进程在接收到事务的提交操作后，才会将增量数据同步到目标数据库中。因此，对于数据库中的长事务，长事务指需要等待较长时间才能提交的事务，其同步需要较长的延时时间。例如，在数据库中，查询建表操作在基表数据量非常大的时候，就是属于耗时较长的长事务。查询建表操作是一种比较特殊的DDL操作，使用查询建表方式创建目标数据表的同时，会使用基表数据来初始化新建的表。当基表中数据量非常大时，查询建表操作将会非常耗时，并且数据库日志流中会包含大量创建表的插入操作日志。

目前，基于数据库日志解析的数据实时同步技术，在同步查询建表操作时，首先解析出日志中的查询建表DDL操作，并缓存该事务的全部插入操作日志，直至解析到该事务的提交日志后，再发送到目标端同步进程进行执行。如果查询建表的基表数据量非常大，目标端需要等待非常长的时间才能收到提交语句，并且从该事务开始的部分进行同步执行，同步延时会非常大。

发明内容

本发明的目的在于克服上述技术不足，提供一种查询建表事务的拆分同步方法及系统，解决现有技术中查询建表事务同步延时大的技术问题。

为达到上述技术目的，本发明的技术方案提供一种查询建表事务的拆分同步方法，包括以下步骤：

步骤S1、捕获源数据库中的查询建表事务的事务日志；

步骤S2、将所述事务日志中的DDL信息拆分出来，投递所述DDL信息，执行所述DDL信息的同步操作；

步骤S3、将所述事务日志中的插入操作日志拆分成多个子事务日志，投递所有所述子事务日志，并行执行所有所述子事务日志的同步操作。

本发明还提供一种查询建表事务的拆分同步系统，包括源端同步进程和目标端同步进程；

所述源端同步进程用于捕获源数据库中的查询建表事务的事务日志，将所述事务日志中的DDL信息拆分出来，并投递所述DDL信息至所述目标端同步进程；

所述目标端同步进程用于执行所述DDL信息的同步操作；

所述源端同步进程还用于将所述事务日志中的插入操作日志拆分成多个子事务日志，投递所有所述子事务日志至所述目标端同步进程；