[发明专利]一种数据库迁移数据的验证方法及系统

权利要求书

1.一种验证数据库迁移数据的系统，包括各类型的源数据库和目标数据库，其特征在于还包括相互连接的数据分块模块和数据块管理模块，其中：

数据分块模块，用于分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块；

数据块管理模块，用于对所述样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论；

还包括相互连接的数据统计分析模块以及数据比对验证模块，其中：

所述数据块管理模块还与数据统计分析模块连接，若比对的所述块基本信息一致，则将迁移数据初步完整的结论发给数据统计分析模块；若比对的所述块基本信息不一致，则发出迁移数据不完整的告警；

数据统计分析模块分别与各类型的源数据库和目标数据库连接，用于在收到所述迁移数据初步完整的结论后将源数据库与目标数据库中的表、视图以及序列各模式的数据进行分析计算，生成一个或多个分析数值记录；

数据比对验证模块，用于对源数据库与目标数据库的分析数值记录进行比对，以验证迁移数据的完整性。

2.按照权利要求1所述的系统，其特征在于，

所述数据分块模块抽取数据包括全量抽取和/或增量抽取；所述全量抽取将数据源中的表、视图以及序列的全部数据抽取出来，并转换为本机的提取转换及加载工具可识别的格式；所述增量抽取则只抽取数据源自上一次抽取数据以来的表或视图以及序列中新增或修改的数据，并转换为本机的提取转换及加载工具可识别的格式；

所述数据块管理模块分析的数据属性包括数据块大小、数据块数量以及数据类型中的一种或多种。

3.按照权利要求1所述的系统，其特征在于，

所述数据统计分析模块将源数据库与目标数据库中的表、视图以及序列各模式的数据用哈希算法、统计分析中的方差或标准差算法中的一种或多种进行统计分析计算，生成一个或多个哈希记录或统计分析数值记录；

所述数据比对验证模块对源数据库与目标数据库中的数据生成的所述哈希记录或所述统计分析数值记录进行比对，若比对结果未出现差异则验证迁移数据完整，若比对结果出现差异则验证迁移数据不完整。

4.按照权利要求3所述的系统，其特征在于，

所述数据统计分析模块用多个进程或线程同时分别对多个源数据库和目标数据库中的表、视图以及序列各模式的数据以及所述哈希记录或所述统计分析数值记录进行读写操作；

所述数据比对验证模块用多个进程或线程同时分别对多个源数据库和目标数据库中的所述数据生成的哈希记录或统计分析数值记录进行比对来验证数据的操作。

5.一种验证数据库迁移数据的方法，包括：

数据抽取步骤：分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块；

初步验证步骤：对所述样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论，具体包括：

若比对的所述块基本信息一致，则得出迁移数据初步完整的结论；若比对的所述块基本信息不一致，则发出迁移数据不完整的告警；

在得出所述迁移数据初步完整的结论后，还包括：

统计分析步骤：将所述源数据库与所述目标数据库中的表、视图以及序列各模式的数据进行统计分析计算，生成一个或多个分析数值记录；

最终验证步骤：对所述源数据库与所述目标数据库的所述数据生成的所述分析数值记录进行比对，得到最终的迁移数据完整性的验证结论。

6.按照权利要求5所述的方法，其特征在于，

所述数据抽取步骤中抽取数据包括全量抽取和/或增量抽取；所述全量抽取将数据源中的表、视图以及序列的全部数据抽取出来，并转换为本机的提取转换及加载工具可识别的格式；所述增量抽取则只抽取数据源自上一次抽取数据以来的表或视图以及序列中新增或修改的数据，并转换为本机的提取转换及加载工具可识别的格式；

所述初步验证步骤分析的所述数据属性包括数据块大小、数据块数量以及数据类型中的一种或多种。