[发明专利]一种对增量同步异常中断情况的处理方法和装置

说明书

本发明涉及数据同步技术领域，具体涉及一种对增量同步异常中断情况的处理方法和装置，其中方法包括：在增量同步中为每一条增量数据生成一个唯一性编号，并实时记录已同步过的增量数据对应的编号；当增量同步异常中断时，如果中断发生在全量抽取中，则下次同步时根据编号记录情况忽略已同步的增量数据，并继续从源表中读取未同步数据；如果中断发生在增量抽取中，则根据编号记录情况清除增量表中已同步的增量数据，下次同步时继续读取增量表中剩余数据。本发明解决了增量同步中断时再次同步可能出现的数据丢失和数据重复问题，使得再次同步时能够无缝衔接上次的增量同步过程，顺利完成整个增量同步操作任务，提升效率。

【技术领域】

本发明涉及数据同步技术领域，具体涉及一种对增量同步异常中断情况的处理方法和装置。

【背景技术】

增量同步技术，是指将发生在源表上的数据插入、修改和删除操作(简称DML操作)以增量数据的形式记录在增量表中，然后通过解析增量表中的数据，在目的表上执行同样的DML操作，从而实现目的表中数据与源表中数据的同步。增量同步涉及两个过程，分别为全量抽取和增量抽取，全量抽取是指从源表读取数据并封装成增量数据，增量抽取是指从增量表读取数据；其中，全量抽取只需要做一次，而增量抽取是重复执行的。在首次同步时将源表数据全量抽取到目的表中后，可以通过重复地执行增量抽取，将源表上的DML操作产生的变化数据无遗漏地同步到目的表中，从而实现源表和目的表的长期同步，避免每次都同步全量数据。当全量数据巨大，而每次变化数据较少时，可以大幅提升数据同步的效率。

所述增量数据即增量表中的数据，除了包含DML操作涉及的表数据外，还包括DML操作的类型(即插入INSERT、删除DELETE和修改UPDATE)和DML操作的唯一性编号，该编号根据发生在源表上的DML操作的先后顺序递增。其中，类型和编号是传递和解析增量数据的依据。

增量同步过程通过增量表数据读取工具(以下简称增量源)和增量表数据装载工具(以下简称增量目的)共同完成：增量源根据状态参数判断应该执行全量抽取还是增量抽取，并将读取到的数据依次传递给增量目的；增量目的接收增量源传递过来的数据，判断增量数据的DML操作类型为INSERT、DELETE还是UPDATE，然后在目的表上执行对应的DML操作，从而实现目的表数据与源表数据的同步。

当前主流的增量同步方式，按照增量数据的内部产生方式分为两类：过程记录产生方式，包括触发器增量和日志解析增量；比较产生方式，包括影子表增量、MD5增量和时间戳增量。无论哪种增量同步方式，过程都是相同的：首次同步时，将源表数据全量抽取到目的表中；非首次同步时，从增量表中读取数据并进行解析，将源表中的数据变化同步到目的表中，然后清除增量表中的数据，完成增量同步。

在执行增量同步的过程中，由于各种意外因素，如服务器断电或宕机、源表所在数据库连接中断、增量表所在数据库连接中断、目的表所在数据库连接中断、增量目的因违反唯一性约束等错误执行失败、误击“中止”按钮等，可能导致增量同步过程异常中断，且中断既可能发生在全量抽取过程中，也可能发生在增量抽取过程中。因此，需要有一种机制确保发生意外中断时，下次增量同步能够无缝衔接上次增量同步过程，既能保证已同步的数据不重复，又能保证未同步的数据不丢失。

针对上述问题，当前的解决方案通常如下：如果全量抽取过程意外中断，则清空目的表，从头开始执行全量同步，但这种方案效率较低，可能存在大量重复工作；如果是执行增量抽取，则对每条已完成同步的增量数据执行UPDATE操作来进行标记，下次同步时先删除标记过的增量数据，然后再读取增量表中的剩余数据，以防止增量抽取过程意外中断可能导致的数据重复或数据丢失错误，但这种处理方案的UPDATE操作对运行效率影响较大。

鉴于此，克服上述现有技术所存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

本发明需要解决的技术问题是：