[发明专利]一种redo日志批量同步方法及装置

摘要

本发明提供了一种redo日志批量同步方法及装置，该方法包括：对oracle进行配置，并基于此对NiFi中的待配置组件进行配置；基于配置好的oracle和NiFi，按照时间先后顺序依次抽取oracle的redo日志中变化的各个数据，以顺序打包获得各个数据组，同一数据组中不同数据的操作标识相同，且对于任意相邻的两数据组，在先数据组中数据的抽取时间早于在后数据组中数据的抽取时间，该两数据组中数据的操作标识不同；需要进行格式转换时，根据数据格式转换要求对各数据组中的各个数据进行格式转换后，存储至指定的大数据平台，否则进行直接存储。因此，本方案可在不同系统之间进行同步。

主权项

1.一种redo日志批量同步方法，其特征在于，对oracle进行配置，还包括：基于配置好的所述oracle，对NiFi中的待配置组件进行配置；基于配置好的所述oracle和配置好的所述NiFi，按照时间先后顺序依次抽取所述oracle的redo日志中变化的每一个数据，以按照时间先后顺序依次打包获得至少一个数据组，其中，所述至少一个数据组满足：同一数据组中不同数据的操作标识相同，以及，对于任意相邻的第一数据组和第二数据组，得到所述第一数据组的时间早于所述第二数据组时，所述第一数据组中任一数据的抽取时间早于所述第二数据组中任一数据的抽取时间，且所述第一数据组中任一数据的操作标识不同于所述第二数据组中任一数据的操作标识；根据预设的数据格式转换要求，判断是否需要进行格式转换，若是，基于实时流式处理模式，针对依次获得的每一个所述数据组均执行：根据所述数据格式转换要求对当前数据组中的每一个数据均进行格式转换，并将经格式转换后的所述当前数据组存储至预设的数据存储要求所指定的大数据平台，否则，将所述当前数据组存储至所述数据存储要求所指定的大数据平台。