[发明专利]一种ORACLE数据增量同步系统及方法

摘要

本发明公开了一种ORACLE数据增量同步系统及方法，包含管理组件、读数据组件、写数据组件和消息队列组件四个模块，可以部署多个所述ORACLE数据增量同步系统，在每个所述ORACLE数据增量同步系统中还包括高可用组件，步骤1、首先获取并解析ORACLE日志文件，从日志文件中抽离出事务，并将解析好的数据组装成协议数据，然后发送到消息队列，传送到异地；步骤2、异地进程从消息队列中获取缓存数据，完成数据映射，按规定的数据协议传送到异地，然后再根据数据库类型处理协议数据优化数据的入库方式，根据映射关系拼接成新的针对目标库的SQL，并最终落地到异地数据库完成同步操作。本发明使同步操作更加灵活，可靠性更好，为企业节约大量成本，提高数据安全性。

主权项

1.一种ORACLE数据增量同步系统，其特征在于，该系统包含管理组件(10)、读数据组件(20)、写数据组件(30)和消息队列组件(40)四个模块，所述管理组件分别与所述读数据组件、所述写数据组件以及所述消息队列组件相连，所述读数据组件以ORACLE数据作为输入，所述写数据组件以SQL作为输出；其中：/n所述管理组件(10)，负责对读数据组件、写数据组件的交互进行统一的控制，对读写端的数据处理流程进行校验，保证读写端数据处理的一致性，对外提供restful调用接口，统一管理异常信息；/n所述读数据组件(20)，负责读取ORACLE日志文件、解析日志文件、过滤事务、拆解字段类型和重组传输数据等，然后将处理好的数据发送到消息队列，以及，支持系统重启后的断点续传功能，统计解析到DML数据；/n所述写数据组件(30)，负责从消息队列中获取缓存数据，完成数据映射，优化数据的入库方式，拼接并执行SQL，统计执行完成的DML数据情况；/n所述消息队列组件(40)，负责临时存储读数据组件发送过来的数据供写数据组件进行数据处理。/n