[发明专利]数据同步过程中增量数据的解析方法及存储介质

说明书

本发明提供了一种数据同步过程中增量数据的解析方法及存储介质，数据同步过程中增量数据的解析方法，包括获取数据库日志；将数据库日志划分为设定数量的数据块，在预设的全局登记区中按顺序定义数据块的块号并将数据块定义为未读取状态；利用多个读取线程读取数据块，每个读取线程将读取完成的数据块放入各自的队列中。多个读取线程同时读取数据，减少了解析线程空等情况的发生，提高了解析效率。全局登记区对每个数据块的块号和状态进行管理，使得多个读取线程能够在全局登记区的协调下有序地进行数据读取，保证了数据读取有序进行。

技术领域

本发明涉及数据库技术领域，特别是涉及一种数据同步过程中增量数据的解析方法及存储介质。

背景技术

在利用数据同步软件进行数据实时同步时分为三个阶段，第一阶段进行存量数据的初始化装载，获得数据同步的基础点；第二阶段以初始化数据装载建立的同步基础点为基准进行增量数据同步；第三阶段定期对数据同步的源端数据和目标数据进行比对校验，以确认在数据同步过程中没有丢失数据。其中，进行增量数据同步时，通过解析数据库日志获取增量数据，从而实现数据实时同步是一种常用的实时数据复制技术。

对于Oracle RAC(real application clusters，实时应用集群，简写为RAC)源端来说，归档日志和在线日志通常存储在ASM(Automatic Stoage Management，自动存储管理)中，在针对Oracle RAC的增量数据获取过程中需要从ASM中读取日志，然后解析出增量数据。在现有技术中，读取日志和解析数据在一个线程中进行，每次读取日志时，解析数据必须等待，效率不高。

发明内容

本发明的一个目的是要提供一种能够能够解决上述任一问题的的数据同步过程中增量数据的解析方法及存储介质。

本发明一个进一步的目的是要优化资源利用率。

本发明一个进一步的目的是要优化解析线程的解析工作。

特别地，本发明提供了一种数据同步过程中增量数据的解析方法，包括：

获取数据库日志；

将所述数据库日志划分为设定数量的数据块，在预设的全局登记区中按顺序定义所述数据块的块号并将所述数据块定义为未读取状态；

利用多个读取线程按照所述块号分别读取所述数据块，每个所述读取线程将读取完成的数据块放入各自的队列中。

可选地，每个所述读取线程按照所述块号分别读取所述数据块的步骤包括：

在所述全局登记区查询顺序最靠前且为未读取状态的块号；

根据块号找到对应的数据块开始读取；

将读取完成的所述数据块放入自己对应的队列中。

可选地，根据块号找到对应的数据块开始读取的步骤之前包括；

在所述全局登记区将查询到的所述块号进行加锁，以防止其他读取线程对所述块号进行查询。

可选地，将读取完成的数据块放入自己对应的队列中的步骤之后包括：

判断所述队列是否已满，若是，停止所述读取线程的读取工作，并进入等待阶段，若否，返回执行在所述全局登记区查询顺序最靠前且为未读取状态的块号的步骤。

可选地，停止所述读取线程的读取工作，并进入等待阶段的步骤之后包括：

判断所述读取线程的等待时间是否超出阈值，若是，终止所述读取线程的读取工作，待所述读取线程对应的队列存有的全部数据被解析完成后，将所述读取线程退出，若否，返回执行判断队列是否已满的步骤。

可选地，在每个所述读取线程将读取完成的数据块放入各自的队列中的步骤之后，还包括：