[发明专利]一种用于ORACLE数据同步中重启解析的方法及系统

说明书

本发明公开了一种用于ORACLE数据同步中重启解析的方法及系统，该方法包括：步骤S1，解析进程持续监控并解析源端数据库的redo文件，得出相对应的事务数据写入TF文件，并在解析过程中依据解析结果生成最早事务断点数据写入TF文件中，将所述TF文件传输至备端；步骤S2，当源端解析进程或备端装载进程重启后，备端装载进程获取当前备端所缓存的最新的TF文件，并获取该TF文件中最新的Commit操作，从中读取最早事务断点数据并将该信息发送到源端的解析进程；步骤S3，源端解析进程接收到该最早事务断点数据后，根据该最早事务断点数据开始解析Redo文件。

技术领域

本发明涉及数据库同步技术领域，特别是涉及一种用于ORACLE数据同步中重启解析的方法及系统。

背景技术

信息系统中数据最为重要，因此人们为了确保数据的安全，往往会将数据实时灾备到另一环境进行保存。针对ORACLE数据库，有一种高效的数据实时同步方法，那就是实时分析ORACLE在运行过程中所产生的redo文件的变化数据，经过处理转换后得到ORACLE的操作事务数据，将这些操作事务数据传递到灾备端去执行，将这些操作事务再次装载到ORACLE灾备库里，最终实现ORACLE数据的准实时同步。

在这种同步场景中，源端一般会有解析进程，该进程持续监控源端ORACLE数据库的redo文件，并对新增的变化数据进行分析，得出相关的Oracle操作数据，并将数据传输到备端；备端设有装载进程，该装载进程则接收分析进程传输过来的数据库操作数据，并负责将这些事务数据装载到备端Oracle数据库。

图1为ORACLE数据库的单个redo文件的内容组织形式。整个redo文件会划分为N个相同长度的块Block0-BlockN，同时，整个文件会以Record的形式记载数据库的事务操作数据，每个Record长度不同，按顺序在redo文件里依次被Oracle的dbwr(Data Base Writer,数据库写)进程写入redo文件，每个Record的起始位置可以以文件的seq序列号+块号+块内偏移唯一确定，分析redo文件时都是从某个Record的起始点开始分析，通常使用一个Lwn数据结构来记录某个Record起始位置所在的redo序列号、块号和块内偏移。

例如，对于Record1，它所在的redo序列号是10，起始点处于redo文件的块0+偏移0x300的位置，则把这个Record1的起始点Lwn数据记录为Lwn1(seq＝10，block＝0，off＝0x300)。

解析进程会对整个Redo文件进行解析，解析出一系列的操作。由于Oracle可以多用户共同使用，所以每个用户连接成功后，可以分别独立开启事务进行增删改操作及提交，这些操作会随着用户的执行立即写入Redo文件中。因此redo文件解析出的事务在一段时间内会同时存在多个事务的情况，每个事务对应一个用户的连接，以Begin为起始，并随着用户的提交操作而以Commit结束。

在数据同步过程中，一旦解析进程或者装载进程异常退出，例如当解析进程因为异常或人为操作而停止，当再次启动解析进程去继续解析时，则会碰到一个问题：即需要从哪个redo文件的哪个地点开始解析。

目前，对于上述问题普遍有如下两种处理方式：

1)从Oracle当前环境所保留的所有redo文件中，按redo文件的sequence属性由小到大的顺序，从sequence最小的那个redo文件开始解析：然而在这种方式下，由于之前redo文件已经解析过，所以这种方式会造成重复解析。如果源端系统保存的历史redo文件的文件量很大，会导致重复解析的量非常大，耗时很长，而且重复解析出的结果无用。