[发明专利]基于GoldenGate的数据同步校验方法

说明书

本发明公开了一种基于GoldenGate的数据同步校验方法，包括如下步骤：S1：在Oracle GoldenGate的源端，记录完整的前映像信息；S2：在目标端创建GoldenGate变更表，分别记录：表名、记录数增量、哈希值增量和源端提交数据的SCN值；S3：正式迁移前作一次全量的数据校验，并记录全量的数据校验对应的源端SCN，记录信息到GoldenGate全量哈希表中；S4：正式迁移期间，源端发起全量的数据校验，目标端记录基于GoldenGate全量哈希表、GoldenGate变更表以及当前的SCN值推算出当前的哈希值。本发明在确保数据校验准确的前提下，大大缩短迁移的目标环境操作的耗时。

技术领域

本发明涉及一种数据同步校验方法，尤其涉及一种基于GoldenGate的数据同步校验方法。

背景技术

Oracle GoldenGate软件能支持Oracle Database之间数据的实时同步，然而在大型系统割接期间，往往为了保证数据的一致性，需要花费大量的时间实施数据一致性校验。

目前业界的通用的做法有以下几种：1、不校验；2、基于业务逻辑抽查数据；

3、仅核对记录数；4、基于Oracle GoldenGate Veridata实现全量数据校验；5、基于全表实现哈希值校验。

现有技术的缺点如下：

一、现有的技术方案1～3不严谨，无法完全保证数据的一致性；

二、现有的技术方案4～5耗时过长。无论是Oracle官方给出的Oracle GoldenGateVeridata工具，还是基于脚本实施的哈希值校验方法，校验时长均很长，对于目前数据了动辄TB级别的系统而言，往往需要一两个小时甚至更长的时间。更让人难以接受的是，数据校验的脚本需要在迁移前后的环境分别执行，此操作消耗资源过高，迁移的目标环境基本不能做其余的操作。

发明内容

本发明所要解决的技术问题是提供一种基于GoldenGate的数据同步校验方法，在确保数据校验准确的前提下，大大缩短迁移的目标环境操作的耗时。

本发明为解决上述技术问题而采用的技术方案是提供一种基于GoldenGate的数据同步校验方法，分别在源端和目标端部署GoldenGate软件，其中，包括如下步骤：S1：在Oracle GoldenGate的源端，记录完整的前映像信息；S2：在Oracle GoldenGate的目标端创建GoldenGate变更表，采用四个字段分别记录：表名、记录数增量、哈希值增量和源端提交数据的SCN值；S3：正式迁移前作一次全量的数据校验，并记录全量的数据校验对应的源端SCN，记录信息到GoldenGate全量哈希表中；S4：正式迁移期间，源端发起全量的数据校验，目标端记录基于GoldenGate全量哈希表、GoldenGate变更表以及当前的SCN值推算出当前的哈希值。

上述的基于GoldenGate的数据同步校验方法，其中，所述步骤S1包括：配置GoldenGate中记录数据删除前的值的参数NOCOMPRESSDELETES以及NOCOMPRESSUPDATES，并采用数据库日志信息完整记录同步范围内的表的所有操作记录。

上述的基于GoldenGate的数据同步校验方法，其中，所述步骤S2中目标端复制进程增量MAP策略，基于每条DML操作进行如下处理：a.针对insert记录，记录数增量为1，哈希增量为此记录拼凑结果的哈希值；b.针对update记录的前映像，记录数增量为0，哈希值增量为此记录拼凑结果的哈希值乘以-1；c.针对update记录的后映像，记录数增量为0，哈希值增量为此记录拼凑结果的哈希值乘以1；d.针对delete记录的后映像，记录数增量为-1，哈希值增量为此记录拼凑结果的哈希值乘以1。