[发明专利]一种基于物理级的数据库日志挖掘方法

说明书

技术领域

本发明涉及一种基于物理级的数据库日志挖掘方法，属于数据库数据复制技术领域。

背景技术

随着信息技术的深入发展，应用系统的不断升级，数据已经逐步成为了信息系统中的关键部分。然而，所有针对数据的处理都包含着一个基本的假设——数据的可用性和可靠性。数据库技术作为当前在金融、电力电信等领域的主流数据处理技术，其数据的可用性和与可靠性自然备受关注。数据库日志挖掘技术正是在这种要求下产生的。

国内外关系型数据库日志挖掘技术分为两种类型，一种是基于逻辑级日志挖掘技术、一种是基于物理级Redo挖掘技术。数据库日志挖掘技术在信息灾备领域应用广泛，主要使用的是基于逻辑级日志挖掘技术，但在实际的使用中，由于基于逻辑级数据库挖掘出的数据无法支持全部的数据库对象，导致从生产库挖掘出的数据投递到灾备库不能保证数据对象的一致性。传统的逻辑级日志挖掘是通过日志抽取SQL的方式实现，不支持所有DDL操作的复制，不支持触发器、存储过程等数据库关键功能的复制，经常会发生由于生产库数据库结构变更造成灾备库日志挖掘中断甚至崩溃，不能保证数据库日志挖掘的完整性。目前传统的基于物理级Redo日志挖掘技术，不能较好的解决数据库日志挖掘效率问题，并且对生产库影响较大。

发明内容

针对现有技术存在的不足，本发明目的是提供一种基于物理级的数据库日志挖掘方法，可以从根本上实现挖掘出的日志信息与生产库的一致性与完整性，还能降低数据库日志挖掘对生产库的性能影响。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的一种基于物理级的数据库日志挖掘方法，包括以下几个步骤：

(1)从数据库表v$archived_log获取当前操作系统数据块大小；并从数据库表v$archived_log中获取Redo日志(重做日志)全路径名，根据Redo日志全路径名判断日志文件是存储在文件系统还是Oracle自带自动存储管理ASM上，如果Redo日志文件存储在ASM上，则从数据库表v$asm_disk中取得路径；

(2)从数据库表v$log,v$logfile中获取数据库Redo日志组信息；

(3)根据数据库Redo日志组信息，启动多个子进程，对每一个Redo日志组进行单独进程挖掘；根据数据库Redo日志文件头标志位信息，挖掘日志文件头信息，比对thread(一个数据库实例产生一个thread)和dbid(数据库ID)，判断是否和生产库一致，如果不一致，则返回错误，如果一致，则从日志文件头中获取当前的日志序列sequence号，判断日志序列是否存在，如果不存在则返回错误，如果存在，则检查当前日志文件头中序列是否和之前获取的日志序列sequence号一致，如果不一致，说明当前文件已经被覆盖，则返回错误信息，终止当前日志挖掘，等待归档流程处理，如果一致，则转向步骤(4)；

(4)开始挖掘日志文件头后的数据块，每次挖掘固定大小数据，记录当前挖掘的数据块数，将数据块内容写入新建的临时文件，临时文件名根据业务系统id、在线日志组号、sequence号(数据库系统按照一定规则自动增加的数字序列)以及当前数据块编号进行命名，如果当前日志文件挖掘没有结束，则返继续执行步骤(4)，如果当前日志文件挖掘结束，则转向步骤(5)；

(5)重新挖掘日志文件头，获取日志结束标志，并写入临时文件中，然后计算日志文件校验和，并将校验和写入到日志头的第14-15字节，结束当前文件挖掘，然后开始挖掘下一日志文件。

步骤(1)中，对数据库表v$archived_log、v$asm_disk的调用关系如下表1所示：

表1 获取操作系统数据块大小与日志路径相关操作

步骤(2)中，对数据库表v$log,v$logfile的调用关系如下表2所示：

表2 获取数据库Redo Log日志组信息