[发明专利]数据质量校验方法、设备及计算机可读存储介质

说明书

本发明涉及金融科技(Fintech)技术领域。本发明公开了一种数据质量校验方法、设备及计算机可读存储介质，通过先在底层封装好用于校验数据表中各字段所需的规则表达式的校验逻辑，然后基于此配置出适配于数据表字段的描述信息的规则信息定义表，使得当存在数据校验需求时，只需给出用于描述数据表的参数，系统即可自动根据参数加载出相应的规则配置以及数据表，然后通过规则匹配自动生成各字段校验所需的规则表达式，最后按照相应的规则表达式对各字段进行校验，整个过程中无需人工进行配置以及编写sql语句，因此校验人员无需学习校验规则表达式的编写，降低了校验人员的专业要求，并使得字段校验的配置更为方便快捷，从而提高了数据质量校验的效率。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种数据质量校验方法、设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对数据处理技术提出了更高的要求。

在日常的数据处理过程中，通常都需要对采集到的数据进行质量校验，而由于需要检验的数据量通常会比较大，因此会将海量数据存储于Hive库(基于hadoop的一个数据仓库工具，hadoop是一种分布式系统基础架构，可进行海量数据的高速运算和存储)中，然后基于Hive所具备的功能将数据的校验规则转换为sql语句，最后针对库中数据执行这些校验规则语句，以将采集数据中的异常数据筛选出来。但在传统的校验方式中，都是人工根据字段的逻辑配置校验规则，并且需要人工编写sql语句，当面对大量需要校验的数据时，通过这一方式来进行数据校验显然十分低效。

发明内容

本发明的主要目的在于提出一种数据质量校验方法、设备及计算机可读存储介质，旨在解决现有的基于人工的数据质量校验方式的效率低下的技术问题。

为实现上述目的，本发明提供一种数据质量校验方法，所述数据质量校验方法包括：

获取输入参数，并从预配置的规则信息定义表中查询出与所述输入参数相关的规则配置信息，其中，所述规则信息定义表与各数据表的描述信息相适配，且底层封装有若干校验规则表达式的校验逻辑；

将所述规则配置信息转化为第一键值对集合，并根据所述输入参数获取到待校验数据表，以将所述待校验数据表转化为第二键值对集合；

将所述第一键值对集合与所述第二键值对集合进行匹配，以匹配得到所述待校验数据表中各字段对应的目标校验表达式；

按照所述目标校验表达式对所述待校验数据表中的各字段进行数据校验，以得到校验结果。

可选地，所述规则信息定义表包括基础信息表和校验规则定义表，

所述获取输入参数，并从预配置的规则信息定义表中查询出与所述输入参数相关的规则配置信息的步骤包括：

在接收到数据校验指令时，从所述数据校验指令中获取数据库名与数据表名，以作为所述输入参数；

从预配置的基础信息表与校验规则定义表中查询到与所述数据库名和数据表名相关的规则配置信息，其中，所述基础信息表与所述校验规则定义表中均定义有数据库名参数和数据表名参数。

可选地，所述将所述规则配置信息转化为第一键值对集合的步骤包括：

将所述规则配置信息转化为若干第一键值对，其中，所述第一键值对中的关键字为所述校验规则定义表中所定义的一字段名称，所述第一键值对中的值为所述字段名称分别对应在所述基础信息表和校验规则定义表中的基础信息和校验规则信息；

将若干所述第一键值对汇总为所述第一键值对集合。