[发明专利]一种关系数据库日志抽取方法

摘要

本发明公开了一种关系数据库日志抽取方法，包括获取数据库日志文件路径、日志文件存储格式；打开日志文件，读取数据块，获取数据块大小和数量，确定数据库版本信息；从当前数据块中读取日志记录信息；判断该条日志记录信息是否完整，如果不完整则继续从下一个数据块中读取，直到拼装成完整的日志记录信息；解析完整的日志记录信息，获取操作码，并根据操作码依次读取日志记录信息中的所有变化操作数据；检查变化操作数据是否为有效变化数据，如果不是则丢掉，读取下一个变化操作数据，如果有效则将其添加到数据结果集中，检查完所有变化操作数据，则一次数据抽取结束。本发明可以精确抽取出变化日志数据，同时不会影响数据库自身性能。

主权项

1.一种关系数据库日志抽取方法，其特征在于：包括以下步骤，获取数据库日志文件路径、日志文件存储格式；打开日志文件，读取数据块，获取数据块大小和数量，确定数据库版本信息；从当前数据块中读取日志记录信息；判断日志记录信息是否完整，如果不完整则继续从下一个数据块中读取，直到拼装成完整的日志记录信息；解析完整的日志记录信息，获取操作码，并根据操作码依次读取日志记录信息中的所有变化操作数据；检查变化操作数据是否为有效变化数据，如果不是则丢掉，读取下一个变化操作数据，如果有效则将其添加到数据结果集中，检查完所有变化操作数据，则一次数据抽取结束；读取数据块时，判断数据块前后SEQ号之间的关系，SEQ号为序列号，设当前数据块的SEQ号为s1，下一个数据块的SEQ号为s2，数据库的SEQ号为s3，通过比较确定下一步处理方法：当s1 = s2 时：s2 = s3，Redo正常读写，正常读取下一个数据块；s3 > s2，Redo已被切换，当前Redo未完成，正常读取下一个数据块；s3 < s2，此情况不存在；当s1 < s2时：s3 = s2，Redo已被切换，s1可能有未读完数据，下一个数据块被新数据覆盖，从s1对应的归档中读取下一个数据块；s3 > s2，Redo已被切换，s1可能有未读完数据，下一个数据块被新数据覆盖，从s1对应的归档中读取下一个数据块；s3 < s1，此情况不存在；当s2 <= s3、s1 <= s3 、s1 > s2时：s3 = s1，Redo下一个数据块暂时无数据写入，等待数据写入；s3 = s1+1，s1已读完，已切换到新的Redo，查询s1加1后对应的Redo，读取下一个数据块；s3 > s1+1，s1已读完，至少两次切换到新的Redo，查询s1加1后对应归档，读取下一个数据块；s3 < s2，此情况不存在。