[发明专利]一种数据质量校验方法、装置、系统

权利要求书

1.一种数据质量校验方法，其特征在于，所述方法包括：

获取数据库中预保存的配置文件；其中，所述配置文件包括校验表、被校验表、所述校验表和被校验表的字段之间的对应关系；

判断所述校验表和被检验表的数据来源，按照与不同类型的数据源对应的加载方式加载所述校验表和被校验表的字段数据；

对加载后的字段数据进行校验；

所述校验为完整性校验；所述配置文件还包括定时任务配置信息；

所述按照与不同类型的数据源对应的加载方式加载所述校验表和被校验表的字段数据包括：

按照与不同类型的数据源对应的加载方式全量加载所述被校验表的字段数据；

若为首次加载或者修改后首次加载，按照与不同类型的数据源对应的加载方式定时全量加载所述校验表的字段数据；

若为非首次加载，按照与不同类型的数据源对应的加载方式定时增量加载所述校验表的字段数据；

所述对加载后的字段数据进行完整性校验包括：

若所述校验表的字段数据为定时全量加载，则：

根据加载得到的所述校验表的字段数据计算与所述校验表对应的被校验表的字段数据的缺失值；

对所述缺失值进行去重以完成对所述被校验表的字段数据的完整性校验；

若所述校验表的字段数据为定时增量加载，则：

获取前次校验结果表；

将加载得到的所述校验表的字段数据与所述前次校验结果表的数据进行合并；

根据合并后得到的数据计算与所述校验表对应的被校验表的字段数据的缺失值并将所述缺失值存入当前校验结果表；

对所述缺失值进行去重以完成对所述被校验表的字段数据的完整性校验。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述数据源为关系型数据库，对所述校验表和被校验表的字段数据进行分页处理并根据预创建的多个分片分别加载与所述分片相对应的分页的数据。

3.根据权利要求2所述的方法，其特征在于，若所述数据源为关系型数据库，对所述校验表和被校验表的字段数据进行分页处理并根据预创建的多个分片分别加载与所述分片相对应的分页的数据具体包括：

分别计算所述校验表的字段数据和所述被校验表的字段数据的数据量；

将所述字段数据进行分页处理；

创建包括至少两个分片的弹性分布式数据集；

将获取到的连接信息进行封装并广播至所述各个分片；

根据所述连接信息，在所述分片中加载对应分页的数据。

4.根据权利要求1所述的方法，其特征在于，所述校验为一致性校验；

所述按照与不同类型的数据源对应的加载方式加载所述校验表和被校验表的字段数据包括：

按照与不同类型的数据源对应的加载方式全量加载所述校验表的字段数据和所述被校验表的字段数据。

5.根据权利要求4所述的方法，其特征在于，所述对加载后的字段数据进行一致性校验具体包括：

将加载后的所述校验表的字段数据进行整合，生成参照集；

将加载后的所述被校验表的字段数据进行整合，生成全量数据集；

根据所述参照集对所述全量数据集进行过滤以得到与所述参照集一致的数据子集；

根据所述数据子集和全量数据集，得到不一致数据。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述数据源为非关系型数据库，根据所述校验表和被校验表在所述非关系型数据库中的存储分布情况，加载对应存储区域的字段数据。