[发明专利]一种数据抽取质量的测试方法及系统

权利要求书

1.一种数据抽取质量的测试方法，其特征在于，所述方法包括：

S1、获取MySQL数据库中的第一表的字段的数量，以及对应的Hive数据库中的第二表的字段的数量，并判断所述第一表的字段的数量与所述第二表的字段的数量是否一致；

S2、若所述第一表的字段的数量多于所述第二表的字段的数量，则记录对应的数量差异信息；

S3、若所述第一表的字段的数量与所述第二表的字段的数量一致，则判断所述第一表中每一个字段对应的数据类型，与所述第二表中每一个字段对应的数据类型是否一致，若不一致，则记录对应的数据类型差异信息。

2.如权利要求1所述的数据抽取质量的测试方法，其特征在于，于所述步骤S1前包括：建立所述MySQL数据库中的库名、表名与所述Hive数据库的库名、表名的映射关系。

3.如权利要求2所述的数据抽取质量的测试方法，其特征在于，所述步骤S1还包括：

提供所述第一表在所述MySQL数据库的IP地址、端口号、库名和表名，并根据所述IP地址、端口号、库名和表名获取所述第一表；

根据所述MySQL数据库与所述Hive数据库的映射关系，对应地获取所述Hive数据库的第二表。

4.如权利要求1所述的数据抽取质量的测试方法，其特征在于，所述步骤S2还包括：

若所述第一表的字段的数量少于所述第二表的字段的数量，则不记录对应的数量差异信息。

5.如权利要求1所述的数据抽取质量的测试方法，其特征在于，所述步骤S4还包括：

若所述第一表中每一个字段对应的数据类型，与所述第二表中每一个字段对应的数据类型不一致，则判断所述第一表中不一致的数据类型是否在一预设的数据类型规则表中；

若不在，则记录对应的数据类型差异信息。

6.如权利要求5所述的数据抽取质量的测试方法，其特征在于，所述步骤S4还包括:

若所述第一表中不一致的数据类型在一预设的数据类型规则表中，则不记录对应的数据类型差异信息。

7.如权利要求6所述的数据抽取质量的测试方法，其特征在于，所述方法还包括：

创建一差异表，将所述步骤2的数量差异信息，以及所述步骤S3中的数据类型差异信息记录到所述差异表中。

8.一种数据抽取质量的测试系统，其特征在于，所述系统包括：

获取模块，获取MySQL数据库中的第一表的字段的数量，以及对应的Hive数据库中的第二表的字段的数量；

第一判断模块，判断所述第一表的字段的数量与所述第二表的字段的数量是否一致，若所述第一表的字段的数量多于所述第二表的字段的数量，则记录对应的数量差异信息；

第二判断模块，若所述第一表的字段的数量与所述第二表的字段的数量一致，则判断所述第一表中每一个字段对应的数据类型，与所述第二表中每一个字段对应的数据类型是否一致，若不一致，则记录对应的数据类型差异信息。

9.如权利要求8所述的数据抽取质量的测试系统，其特征在于，所述系统还包括映射模块，建立所述MySQL数据库中的库名、表名与所述Hive数据库的库名、表名的映射关系。

10.如权利要求9所述的数据抽取质量的测试系统，其特征在于，所述获取模块包括第一表获取单元和第二表获取单元；

所述第一表获取单元，提供所述第一表在所述MySQL数据库的IP地址、端口号、库名和表名，并根据所述IP地址、端口号、库名和表名获取所述第一表；

所述第二表获取单元，根据所述映射模块中所述MySQL数据库与所述Hive数据库的映射关系，对应地获取所述Hive数据库的第二表。