[发明专利]数据质量校验方法、设备及计算机可读存储介质

权利要求书

1.一种数据质量校验方法，其特征在于，所述数据质量校验方法包括：

获取输入参数，并从预配置的规则信息定义表中查询出与所述输入参数相关的规则配置信息，其中，所述规则信息定义表与各数据表的描述信息相适配，且底层封装有若干校验规则表达式的校验逻辑；

将所述规则配置信息转化为第一键值对集合，并根据所述输入参数获取到待校验数据表，以将所述待校验数据表转化为第二键值对集合；

将所述第一键值对集合与所述第二键值对集合进行匹配，以匹配得到所述待校验数据表中各字段对应的目标校验表达式；

按照所述目标校验表达式对所述待校验数据表中的各字段进行数据校验，以得到校验结果。

2.如权利要求1所述的数据质量校验方法，其特征在于，所述规则信息定义表包括基础信息表和校验规则定义表，

所述获取输入参数，并从预配置的规则信息定义表中查询出与所述输入参数相关的规则配置信息的步骤包括：

在接收到数据校验指令时，从所述数据校验指令中获取数据库名与数据表名，以作为所述输入参数；

从预配置的基础信息表与校验规则定义表中查询到与所述数据库名和数据表名相关的规则配置信息，其中，所述基础信息表与所述校验规则定义表中均定义有数据库名参数和数据表名参数。

3.如权利要求2所述的数据质量校验方法，其特征在于，所述将所述规则配置信息转化为第一键值对集合的步骤包括：

将所述规则配置信息转化为若干第一键值对，其中，所述第一键值对中的关键字为所述校验规则定义表中所定义的一字段名称，所述第一键值对中的值为所述字段名称分别对应在所述基础信息表和校验规则定义表中的基础信息和校验规则信息；

将若干所述第一键值对汇总为所述第一键值对集合。

4.如权利要求3所述的数据质量校验方法，其特征在于，所述将所述第一键值对集合与所述第二键值对集合进行匹配，以匹配得到所述待校验数据表中各字段对应的目标校验表达式的步骤包括：

将所述第二键值对集合中每一所述第二键值对的关键字与所述第一键值对集合中每一所述第一键值对的关键字进行匹配；

基于匹配成功的第一键值对中的基础信息和校验规则信息生成相应的校验规则表达式，作为匹配成功的第二键值对所对应字段的目标校验表达式。

5.如权利要求1所述的数据质量校验方法，其特征在于，所述根据所述输入参数获取到待校验数据表，以将所述待校验数据表转化为第二键值对集合的步骤包括：

根据所述输入参数生成数据查询sql语句，使用所述sql语句语句查询到所述待校验数据表；

通过分布式计算引擎将所述待校验数据表加载至弹性分布式数据集中；

对所述弹性分布式数据集中的所有分区并行遍历，以将所述所有分区中的每行数据转换成一第二键值对，其中，所述第二键值对的关键字为所述待校验数据表中的实际字段名称，所述第二键值对中的值为所述实际字段名称对应的字段值；

将所述所有分区中的第二键值对汇总为所述第二键值对集合。

6.如权利要求1所述的数据质量校验方法，其特征在于，所述按照所述目标校验表达式对所述待校验数据表中的各字段进行数据校验，以得到校验结果的步骤包括：

确定所述待校验数据表中各字段所匹配到的目标校验表达式之间的依赖关系；

按照所述依赖关系先后对各所述字段执行匹配到的目标校验表达式，以对各所述字段进行数据校验，并得到所述各字段分别对应的校验结果。

7.如权利要求1所述的数据质量校验方法，其特征在于，所述按照所述目标校验表达式对所述待校验数据表中的各字段进行数据校验，以得到校验结果的步骤之后，还包括：

若所述校验结果为异常校验结果，则根据所述异常校验结果生成数据异常提示信息，并确定所述提示信息的告警级别；

将所述待校验数据表中各字段的数据异常提示信息以及告警级别汇总为异常数据汇总表，并将所述异常数据汇总表推送至相关处理人员。