[发明专利]基于日志解析同步的并行日志解析方法和数据同步系统

说明书

本发明公开了一种基于日志解析同步的并行日志解析方法和数据同步系统，源端数据同步服务包括日志分析线程和操作还原线程，其中，操作还原线程与日志分析线程异步执行；该并行日志解析方法包括：通过日志分析线程对源端数据库的日志解析，得到待同步操作；判断待同步操作的操作类型；当待同步操作为DML操作时，为DML操作所涉及的操作对象构造共享锁，并将DML操作和DML操作对应的共享锁发送至操作还原线程，以异步进行DML操作的解析还原；当待同步操作为DDL操作时，为DDL操作所涉及的操作对象构造排他锁，在对DDL操作所涉及的操作对象上锁成功后，解析DDL操作，维护更新DDL操作所指向的操作对象的字典信息。

技术领域

本发明属于数据同步技术领域，更具体地，涉及一种基于日志解析同步的并行日志解析方法和数据同步系统。

背景技术

在基于日志解析架构的数据库实时同步系统(支持异构)中，源端数据同步服务负责捕获源端数据库的操作日志，并解析日志还得到相应的数据库操作，然后发送到目标端数据同步服务，目标端数据同步服务负责把这些操作在目标端数据库中执行，从而完成数据同步的过程。源端数据库日志中操作的顺序代表着这些操作在数据库中执行的顺序，每个操作都存在先后关联顺序，在解析日志还原这些操作时需要保证还原出的操作顺序和日志保持一致。

另外，解析日志时需要使用数据库中表的字典信息来还原操作，由于基于日志解析的同步是属于异步同步的架构，解析日志的字典信息并不能直接从源数据库中获取最新的字典，字典结构的变化同样要从捕获的日志中还原，这也对日志操作的解析顺序提出了要求。鉴于日志解析顺序的重要性，同步软件在解析日志时往往采用单线程来解析，按照捕获的日志顺序依次解析便可解决上述问题。但是日志解析是一个非常消耗CPU资源的工作，当源数据库在某个时刻产生大量的操作时，单线程解析日志的方式就跟不上源端数据库生成日志的速度，导致同步产生延时。针对这个问题，如何提高日志解析性能就成为业界亟待解决的技术问题。

鉴于此，克服该现有技术产品所存在的不足是本技术领域亟待解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于日志解析同步的并行日志解析方法和数据同步系统，在本发明中，将操作还原过程从日志解析中剥离出来，日志分析线程和操作还原线程异步执行，可以提高同步的效率，减少延迟。

为实现上述目的，按照本发明的一个方面，提供了一种基于日志解析同步的并行日志解析方法，源端数据同步服务包括日志分析线程和操作还原线程，其中，所述操作还原线程与所述日志分析线程异步执行；

所述并行日志解析方法包括：

通过所述日志分析线程对源端数据库的日志解析，得到待同步操作；

判断所述待同步操作的操作类型；

当所述待同步操作为DML操作时，为所述DML操作所涉及的操作对象构造共享锁，并将所述DML操作和所述DML操作对应的共享锁发送至所述操作还原线程，以异步进行所述DML操作的解析还原；

当所述待同步操作为DDL操作时，为所述DDL操作所涉及的操作对象构造排他锁，在对所述DDL操作所涉及的操作对象上锁成功后，解析所述DDL操作，维护更新所述DDL操作所指向的操作对象的字典信息。

优选地，所述并行日志解析方法还包括：

所述操作还原线程在接收到所述DML操作后，获取所述DML操作所指向的操作对象的字典信息；

根据所述DML操作所指向的操作对象的字典信息，将所述DML操作还原成目标端数据库所能识别的解析消息；

在完成解析还原后，释放所述DML操作所对应的共享锁。

优选地，所述并行日志解析方法还包括：