[发明专利]基于日志解析的异构数据库数据一致性的检查方法

说明书

本发明公开了一种基于日志解析的异构数据库数据一致性的检查方法，包括：SourceDataCollection程序解析源端数据库日志中DML操作表的主键；SourceDataCollection程序生成:源端表标识+主键+Hash值，传输到DataComparison‑Server程序；DataComparison‑Server程序把源端数据库传输过来的内容按主键发送到DestDataCollection程序，DestDataCollection程序生成:目的端表标识+主键+Hash值；DataComparison‑Server程序根据源端数据库和目的端数据库返回的主键+Hash值进行比对，判断两端的数据是否一致。从而实现数据比对，验证数据是否一致和完整。

技术领域

本发明涉及数据同步技术领域，尤其涉及异构数据库数据一致性的检查方法。

背景技术

大数据项目建设中，涉及到的源端数据库类型较多，如：Oracle、Mysql和Mongodb数据库。需要把不同源端数据库中的数据同步到大数据HDFS(分布式文件系统)的Hive(数据仓库)逻辑表中。但是，在数据抽取过程中经常会存在数据丢失、实例化错误、配置错误、迁移错误等多方面原因，导致源端数据和目的端数据不一致，从而导致大数据平系统中ODS层(汇聚层)数据为脏数据，而影响业务系统的使用。

发明内容

本发明的目的在于提供一种基于日志解析的异构数据库数据一致性的检查方法，实现数据比对，验证数据是否一致和完整。

实现上述目的的技术方案是：

一种基于日志解析的异构数据库数据一致性的检查方法，包括：

步骤S1，在源端数据库部署SourceDataCollection(源端数据日志收集进程)程序；

步骤S2，开启源端数据库的日志功能；

步骤S3，在源端数据库和目的端数据库互通的网络节点中部署DataComparison-Server(数据比对服务)程序；

步骤S4，SourceDataCollection程序内部Analysis_log(日志分析)进程捕获源端数据库日志中的DML(数据库增删改动作)操作，解析源端数据库日志中DML操作表的主键；

步骤S5，SourceDataCollection程序主键查找源端数据库中主键行记录数，并生成:源端表标识+主键+Hash值；

步骤S6，SourceDataCollection程序把源端表标识+主键+Hash值传输到DataComparison-Server程序；

步骤S7，在目的端数据库(Hive)部署DestDataCollection(目的端数据收集进程)程序；

步骤S8，DataComparison-Server程序把源端数据库传输过来的内容按主键发送到DestDataCollection程序，DestDataCollection程序按照内容的主键值到目的端数据库查找到该主键记录，并生成:目的端表标识+主键+Hash值，反馈给DataComparison-Server程序；

步骤S9，DataComparison-Server程序根据源端数据库和目的端数据库返回的主键+Hash值进行比对，判断两端的数据是否一致；

步骤S10，比对结果最终写入到Postgersql(一种开源对象关系型数据库系统)数据库。

优选的，所述步骤S6中，SourceDataCollectio程序的ClientSend_data(发送数据进程)子进程把源端表标识+主键+Hash值传输到DataComparison-Server程序；