[发明专利]一种关系数据库日志抽取方法

说明书

本发明公开了一种关系数据库日志抽取方法，包括获取数据库日志文件路径、日志文件存储格式；打开日志文件，读取数据块，获取数据块大小和数量，确定数据库版本信息；从当前数据块中读取日志记录信息；判断该条日志记录信息是否完整，如果不完整则继续从下一个数据块中读取，直到拼装成完整的日志记录信息；解析完整的日志记录信息，获取操作码，并根据操作码依次读取日志记录信息中的所有变化操作数据；检查变化操作数据是否为有效变化数据，如果不是则丢掉，读取下一个变化操作数据，如果有效则将其添加到数据结果集中，检查完所有变化操作数据，则一次数据抽取结束。本发明可以精确抽取出变化日志数据，同时不会影响数据库自身性能。

技术领域

本发明涉及一种关系数据库日志抽取方法，属于数据库数据复制技术领域。

背景技术

随着信息技术的深入发展，应用系统的不断升级，系统之间的集成贯通越来越多的需要数据交互，数据抽取已经逐步成为了信息系统融合的关键部分。然而，所有针对数据的抽取与交互都包含着一个基本的假设——数据的可用性和可靠性。数据库抽取技术作为各个领域的主流数据处理技术，其数据的可用性和与可靠性自然备受关注。数据库日志挖掘技术正是在这种要求下产生的。

国内外关系型数据库日志挖掘技术分为两种类型，一种是基于逻辑级日志抽取技术、一种是基于物理级Redo抽取技术。数据库日志抽取技术在信息系统集成交互领域应用广泛，主要使用的是基于逻辑级日志抽取技术，此类数据抽取技术多数需要依靠数据库自身提供的插件实现变化数据捕获，数据抽取延时较大，同时抽取过程中会对数据库自身的性能产生一定的影响，目前传统的基于逻辑级的日志抽取技术，不能较好的解决数据库日志抽取效率问题，并且对生产库影响较大。

发明内容

为了解决上述技术问题，本发明提供了一种关系数据库日志抽取方法。

为了达到上述目的，本发明所采用的技术方案是：

一种关系数据库日志抽取方法，包括以下步骤，

获取数据库日志文件路径、日志文件存储格式；

打开日志文件，读取数据块，获取数据块大小和数量，确定数据库版本信息；

从当前数据块中读取日志记录信息；

判断该条日志记录信息是否完整，如果不完整则继续从下一个数据块中读取，直到拼装成完整的日志记录信息；

解析完整的日志记录信息，获取操作码，并根据操作码依次读取日志记录信息中的所有变化操作数据；

检查变化操作数据是否为有效变化数据，如果不是则丢掉，读取下一个变化操作数据，如果有效则将其添加到数据结果集中，检查完所有变化操作数据，则一次数据抽取结束。

日志文件存储格式包括数据库文件系统格式、裸设备格式以及ASM格式。

读取数据块时，判断数据块前后SEQ号之间的关系，设当前数据块的SEQ号为s1，下一个数据块的SEQ号为s2，数据库的SEQ号为s3，通过比较确定下一步处理方法：

当s1＝s2时：

s2＝s3，Redo正常读写，正常读取下一个数据块；

s3>s2，Redo已被切换，当前Redo未完成，正常读取下一个数据块；

s3<s2，此情况不存在；

当s1<s2时：

s3＝s2，Redo已被切换，s1可能有未读完数据，下一个数据块被新数据覆盖，从s1对应的归档中读取下一个数据块；

s3>s2，Redo已被切换，s1可能有未读完数据，下一个数据块被新数据覆盖，从s1对应的归档中读取下一个数据块；