[发明专利]基于日志解析的异构数据库数据一致性的检查方法

权利要求书

1.一种基于日志解析的异构数据库数据一致性的检查方法，其特征在于，包括：

步骤S1，在源端数据库部署SourceDataCollection程序；

步骤S2，开启源端数据库的日志功能；

步骤S3，在源端数据库和目的端数据库互通的网络节点中部署DataComparison-Server程序；

步骤S4，SourceDataCollection程序内部Analysis_log进程捕获源端数据库日志中的DML操作，解析源端数据库日志中DML操作表的主键；

步骤S5，SourceDataCollection程序主键查找源端数据库中主键行记录数，并生成:源端表标识+主键+Hash值；

步骤S6，SourceDataCollection程序把源端表标识+主键+Hash值传输到DataComparison-Server程序；

步骤S7，在目的端数据库部署DestDataCollection程序；

步骤S8，DataComparison-Server程序把源端数据库传输过来的内容按主键发送到DestDataCollection程序，DestDataCollection程序按照内容的主键值到目的端数据库查找到该主键记录，并生成:目的端表标识+主键+Hash值，反馈给DataComparison-Server程序；

步骤S9，DataComparison-Server程序根据源端数据库和目的端数据库返回的主键+Hash值进行比对，判断两端的数据是否一致；

步骤S10，比对结果最终写入到Postgersql数据库。

2.根据权利要求1所述的基于日志解析的异构数据库数据一致性的检查方法，其特征在于，所述步骤S6中，SourceDataCollectio程序的ClientSend_data子进程把源端表标识+主键+Hash值传输到DataComparison-Server程序；

所述步骤S8中，DataComparison-Server进程中的DataSwitchingCenter子进程接收到SourceDataCollectio程序的ClientSend_data子进程发送的数据，先在Redis表中查询判断源端表标识+主键是否存在，若存在则更新成历史记录，并插入新的记录；若没有则直接插入新的记录；

DataSwitchingCenter子进程读取Redis表中的源端表标识+主键，并传输到DestDataCollection程序的Recv_data子进程，同时Redis表中的记录增加1作为已经消费过的标识；

Recv_data子进程接收到源端表标识+主键后，把源端表标识和主键传送给Read_data子进程去查找目的端数据库中的记录，查找到主键行，把记录生成为:目的端表标识+主键+Hash值；若查找不到内容，则预定时间后尝试，尝试3次，若没有结果则返回:目的端表标识+主键+0；

DestDataCollection程序中的ClientSend_data子进程把生成的目的端表标识+主键+Hash值发送给DataSwitchingCenter子进程，DataSwitchingCenter子进程接收到数据后，先在Redis表中查询判断目的端表标识+主键是否存在，若存在则更新成历史记录，并插入新的记录；若没有则直接插入新的记录；

步骤S9中，DataComparison-Server程序的数据比对子进程读取Redis表中源端表和目的端表，并进行数据比对，比对结果写入到Postgersql数据库。

3.根据权利要求2所述的基于日志解析的异构数据库数据一致性的检查方法，其特征在于，所述Redis表的存储历史数据的时间为2天。

4.根据权利要求2所述的基于日志解析的异构数据库数据一致性的检查方法，其特征在于，PandaBI连接Postgersql数据库进行数据的一致性和完整性的数据统计工作。