[发明专利]一种redo日志批量同步方法及装置

权利要求书

1.一种redo日志批量同步方法，其特征在于，对oracle进行配置，还包括：

基于配置好的所述oracle，对NiFi中的待配置组件进行配置；

基于配置好的所述oracle和配置好的所述NiFi，按照时间先后顺序依次抽取所述oracle的redo日志中变化的每一个数据，以按照时间先后顺序依次打包获得至少一个数据组，其中，所述至少一个数据组满足：同一数据组中不同数据的操作标识相同，以及，对于任意相邻的第一数据组和第二数据组，得到所述第一数据组的时间早于所述第二数据组时，所述第一数据组中任一数据的抽取时间早于所述第二数据组中任一数据的抽取时间，且所述第一数据组中任一数据的操作标识不同于所述第二数据组中任一数据的操作标识；

根据预设的数据格式转换要求，判断是否需要进行格式转换，若是，基于实时流式处理模式，针对依次获得的每一个所述数据组均执行：根据所述数据格式转换要求对当前数据组中的每一个数据均进行格式转换，并将经格式转换后的所述当前数据组存储至预设的数据存储要求所指定的大数据平台，否则，将所述当前数据组存储至所述数据存储要求所指定的大数据平台。

2.根据权利要求1所述的方法，其特征在于，

所述对oracle进行配置，包括：判断所述oracle是否启用补全日志，若是，针对UPDATE命令更改的字段，在所述redo日志中的撤销数据块的变更矢量中，记录字段的更改前的值、字段的更改后的值、用于修改字段的预设条件的值；若否，针对所述UPDATE命令更改的字段，在所述redo日志中的撤销数据块的变更矢量中记录字段的更改前的值，在所述redo日志中的数据块的变更矢量中，记录字段的更改后的值但不记录同行中未被修改的字段，以及在不重启所述oracle的条件下，使用sqplus执行alter database add supplementallog data命令，以启用所述补全日志。

3.根据权利要求1所述的方法，其特征在于，

所述对NiFi中的待配置组件进行配置，包括：通过执行下述配置操作中的任意一种或多种，以对NiFi中的GetAllOracleChangeByLog组件进行配置：

将Database Connection Pooling Service的值，配置为所述oracle的连接池信息；

将Table Name的值，配置为要同步的表信息；

将target user name的值，配置为要同步的表所归属的用户；

将fetch size的值，配置为一个批次中可同步的最大数量；

将start time的值，配置为开始同步数据的时间段；

将include rowid的值，配置为要同步的表信息是否会包含rowid信息。

4.根据权利要求1所述的方法，其特征在于，

所述数据格式转换要求包括：将avro格式的数据转换为JavaScript对象简谱json格式的数据时，所述根据所述数据格式转换要求对当前数据组中的每一个数据均进行格式转换，包括：在所述NiFi中，使用ConvertAvroToJSON组件将avro解析成json，以将avro格式的数据转换为json格式的数据。

5.根据权利要求1至4中任一所述的方法，其特征在于，

所述将所述当前数据组存储至所述数据存储要求所指定的大数据平台，包括：

所述数据存储要求包括用于持久化存储时，通过所述NiFi，将所述当前数据组存储至Hadoop分布式文件系统HDFS或Hbase；

所述数据存储要求包括用于统计分析时，通过所述NiFi，将所述当前数据组存储至Hive；

所述数据存储要求包括用于流式计算时，通过所述NiFi，将所述当前数据组存储至Kafka；

所述数据存储要求包括用于检索时，通过所述NiFi，将所述当前数据组存储至Elasticsearch。