[发明专利]一种基于日志解析的数据库删除列同步方法和装置

说明书

本发明涉及数据库技术领域，提供了一种基于日志解析的数据库删除列同步方法和装置。方法包括当收集到对应所述DDL事务的日志内容为用户表INSERT操作时，判断DDL事务为删除列的操作，根据删除列操作所属表的列信息，构造一个建表操作发送到目的端；构造一个查询插入操作发送到目标端同步服务执行，把目的端数据库相应原表中的数据复制到目的端数据库的新建表中；源端数据库同步系统继续捕获日志，直到捕获到提交日志时，所以源端数据库的同步系统通知目的端数据库的同步系统删除原表，完成所述DDL事务同步。本发明基本上可以保证源和目的数据库几乎在同一时刻对表进行删除列的操作。

技术领域

本发明涉及数据库技术领域，特别是涉及一种基于日志解析的数据库删除列同步方法和装置。

背景技术

在基于日志解析架构的数据库实时同步系统（支持异构）中，表修改的删除列操作同步往往会拖慢同步的性能。主要是在实际的应用系统中有些表的数据量过于庞大，如果在这种记录数很大的表上对表结构进行修改，比如删除某个列，会造成数据库对表的重构，由于这些表记录数庞大，数据库在重构时会消耗大量的时间并且产生大量的数据库日志。

传统的同步方法源端日志解析服务需要捕获到源端数据库表修改操作的提交日志以后再开始解析并同步该表修改操作，并在捕获到该操作提交日志之前，该操作产生的大量日志都要进行收集并缓存，缓存操作会产生大量的IO从而影响源端数据库的性能，并且表修改操作发送到目的端，目的端的数据库在执行该修改操作时，也同样需要消耗大量的时间才能完成，期间数据同步服务在同步该表的后续操作时，只能等待目的端数据库完成表修改以后才能进行，造成很大的同步延时。

例如对源端数据库拥有1亿行记录的A表删除1个列，该操作大约需要在源端数据库执行花费约60分钟，该操作同步到目的库也同样至少要花费60分钟才能完成，那么就会造成数据同步至少延迟60分钟。

在搭建主备同步的环境中，目的端数据库往往是用作查询库来分担主库的压力，表在删除列时，针对该表的查询操作将被阻塞，目的端数据库长时间的表修改操作会影响到应用的查询功能，如何缩短大表修改操作同步延时并且减少同步对目的端数据库上应用程序的影响就成为业界亟待解决的技术问题。

发明内容

本发明要解决的技术问题是在搭建主备同步的环境中，目的端数据库往往是用作查询库来分担主库的压力，表在删除列时，针对该表的查询操作将被阻塞，目的端数据库长时间的表修改操作会影响到应用的查询功能，如何缩短大表修改操作同步延时并且减少同步对目的端数据库上应用程序的影响就成为业界亟待解决的技术问题。

本发明采用如下技术方案：

第一方面，本发明提供了一种基于日志解析的数据库删除列同步方法，包括：

源端数据库的同步系统判断日志中待同步的操作为DDL事务，则根据该事务号收集后续属于所述DDL事务的日志；

当收集到对应所述DDL事务的日志内容为用户表INSERT操作时，判断DDL事务为删除列的操作，根据删除列操作所属表的列信息，构造一个建表操作发送到目的端同步系统执行；其中，所述建表操作包括建立新建表的表名和原表名建立映射关系，新建表的列信息参照对应原表完成删除列操作后的列信息设置；

构造一个查询插入操作发送到目的端同步系统执行，把目的端数据库相应原表中的数据复制到目的端数据库的新建表中；

源端数据库同步系统继续捕获日志，直到捕获到所述DDL事务的提交日志时，所以源端数据库的同步系统通知目的端数据库的同步系统删除原表，并将新建表的表名更换为目的端数据库中原表的表名，完成所述DDL事务同步。

优选的，所述源端数据库的同步系统判断日志中待同步的操作为DDL事务，则根据该事务号收集后续属于所述DDL事务的日志，还包括：