[发明专利]一种基于Debezium同步Oracle数据至GreenPlum的方法及工具

说明书

本发明公开一种基于Debezium同步Oracle数据至GreenPlum的方法及工具，涉及数据同步技术领域，其实现包括：打开Oracle源数据库的归档日志，配置监控使用用户名授权；在Kafka中部署基于Oracle日志CDC的Debezium Oracle连接器；启动Kafka和Debezium Oracle连接器，首先发送命令注册需要同步的数据库用户及相关表，随后使用Debezium Oracle连接器捕获Oracle源数据库的所有变化数据；Debezium Oracle连接器将捕获的数据以Topic形式抽取至Kafka中；启动JDBCConsumer程序，消费Kafka对应表的Topic中的数据，实时将数据同步至GreenPlum中，最后，在GreenPlum中验证数据是否同步成功。本发明通过Debezium Oracle连接器实现数据抽取，通过JDBC Consumer将数据同步至GreenPlum数据库中，具有实时、快速同步数据的优点。

技术领域

本发明涉及数据同步技术领域，具体的说是一种基于Debezium同步Oracle数据至GreenPlum的方法及工具。

背景技术

随着互联网、云计算、大数据等新技术的飞速发展，整个世界已进入数字时代。传统税务项目多底层多使用Oracle数据库存储业务数据，随时数据量的日益增长，Oracle数据库无法满足实时查询分析功能。

在传统模式中，将Oracle数据同步至其他数据库往往采用Oracle商用软件OGG(全称Oracle GoldenGate，表示一种基于日志的结构化数据复制软件)或使用大数据相关组件，一来项目成本高，数据交互内容不方便监控，二来与大数据组件耦合性高，依赖资源过多，不方便快速实施与配置。

GreenPlum是一种开源的高性价比的关系型分布式数据库,它采用MPP(全称Massive Parallel Processing，表示海量并行处理)架构,具有强大的大规模数据分析任务处理能力,完全能满足日益增长数据下的实时查询分析的能力。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种基于Debezium同步Oracle数据至GreenPlum的方法及工具。

首先，本发明提供一种基于Debezium同步Oracle数据至GreenPlum的方法，解决上述技术问题采用的技术方案如下：

一种基于Debezium同步Oracle数据至GreenPlum的方法,该方法的实现内容包括：

在Kafka中部署基于Oracle日志CDC的Debezium Oracle连接器；

Debezium Oracle连接器捕获Oracle源数据库的所有变化数据，并抽取至Kafka中，数据在Kafka中将以Topic的形式进行存储；

启动JDBC Consumer程序，消费Kafka对应表的Topic中的数据，实时将数据同步至GreenPlum中。

优选的，数据在Kafka中将以Topic的形式进行存储时，Topic的命名格式为dbname.schema.tablename。

可选的，在Kafka中部署Debezium Oracle连接器之前，需要打开Oracle源数据库的归档日志，配置监控使用用户名授权。

可选的，启动Kafka和Debezium Oracle连接器，首先发送命令注册需要同步的数据库用户及相关表，随后使用Debezium Oracle连接器捕获Oracle源数据库的所有变化数据。

优选的，实时将数据同步至GreenPlum后，还需要在GreenPlum中验证数据是否同步成功。

可选的，Oracle源数据库为单体架构或应用集群；