[发明专利]一种redo日志批量同步方法及装置

说明书

本发明提供了一种redo日志批量同步方法及装置，该方法包括：对oracle进行配置，并基于此对NiFi中的待配置组件进行配置；基于配置好的oracle和NiFi，按照时间先后顺序依次抽取oracle的redo日志中变化的各个数据，以顺序打包获得各个数据组，同一数据组中不同数据的操作标识相同，且对于任意相邻的两数据组，在先数据组中数据的抽取时间早于在后数据组中数据的抽取时间，该两数据组中数据的操作标识不同；需要进行格式转换时，根据数据格式转换要求对各数据组中的各个数据进行格式转换后，存储至指定的大数据平台，否则进行直接存储。因此，本方案可在不同系统之间进行同步。

技术领域

本发明涉及计算机技术领域，特别涉及一种redo日志批量同步方法及装置。

背景技术

Oracle做为使用广泛的数据库，是许多行业大数据应用的数据源头。要对原有的数据进行分析，或者是提高系统性能，经常需要将oracle中的数据实时同步到一些大数据存储中。

目前，可以通过OGG(Oracle GoldenGate)来实现Oracle数据的同步。其中，OGG是一种基于日志的结构化数据复制软件。

但是，这一同步方式只能够在oracle系统之间进行同步。

发明内容

本发明提供了一种redo日志批量同步方法及装置，可在不同系统之间进行同步。

为了达到上述目的，本发明是通过如下技术方案实现的：

一方面，本发明提供了一种redo日志批量同步方法，对oracle进行配置，还包括：

基于配置好的所述oracle，对NiFi中的待配置组件进行配置；

基于配置好的所述oracle和配置好的所述NiFi，按照时间先后顺序依次抽取所述oracle的redo日志中变化的每一个数据，以按照时间先后顺序依次打包获得至少一个数据组，其中，所述至少一个数据组满足：同一数据组中不同数据的操作标识相同，以及，对于任意相邻的第一数据组和第二数据组，得到所述第一数据组的时间早于所述第二数据组时，所述第一数据组中任一数据的抽取时间早于所述第二数据组中任一数据的抽取时间，且所述第一数据组中任一数据的操作标识不同于所述第二数据组中任一数据的操作标识；

根据预设的数据格式转换要求，判断是否需要进行格式转换，若是，基于实时流式处理模式，针对依次获得的每一个所述数据组均执行：根据所述数据格式转换要求对当前数据组中的每一个数据均进行格式转换，并将经格式转换后的所述当前数据组存储至预设的数据存储要求所指定的大数据平台，否则，将所述当前数据组存储至所述数据存储要求所指定的大数据平台。

进一步地，所述对oracle进行配置，包括：判断所述oracle是否启用补全日志，若是，针对UPDATE命令更改的字段，在所述redo日志中的撤销数据块的变更矢量中，记录字段的更改前的值、字段的更改后的值、用于修改字段的预设条件的值；若否，针对所述UPDATE命令更改的字段，在所述redo日志中的撤销数据块的变更矢量中记录字段的更改前的值，在所述redo日志中的数据块的变更矢量中，记录字段的更改后的值但不记录同行中未被修改的字段，以及在不重启所述oracle的条件下，使用sqplus执行alter database addsupplemental log data命令，以启用所述补全日志。

进一步地，所述对NiFi中的待配置组件进行配置，包括：通过执行下述配置操作中的任意一种或多种，以对NiFi中的GetAllOracleChangeByLog组件进行配置：

将Database Connection Pooling Service的值，配置为所述oracle的连接池信息；

将Table Name的值，配置为要同步的表信息；