[发明专利]一种表数据质量探查方法及装置

说明书

本申请提供了一种表数据质量探查方法及装置，其中，该方法包括：获取若干预设属性类别分别对应的校验规则；建立每种所述校验规则与预设字段集的映射关系；基于待探查的表字段与所述预设字段集中的多个表字段之间的编辑距离，来确定所述待探查的表字段对应的所述预设字段集中的目标表字段；根据每种所述校验规则与预设字段集的映射关系，确定所述目标表字段对应的校验规则；利用所述目标表字段对应的校验规则，对所述待探查的表字段的实例数据进行质量探查。本申请能够达到快速准确完成表数据的质量探查，并节约表数据质量的探查成本的效果。

技术领域

本申请涉及表数据质量探查技术领域，具体而言，涉及一种表数据质量探查方法及装置。

背景技术

数据探查是通过对数据集的查询与分析来达到了解数据特征和数据质量的目的。数据探查是数据质量中非常重要的环节，是决定数据正确性关键的一步。数据探查能够为后续数据的ETL提供指导，如需要多少清洗机制、脏数据所占的比率、数据量、数据的结构等信息。

而对于结构化数据库表中的数据探查，现有的方式是通过人工写SQL查询指令进行统计分析，这种方式工作量比较繁琐、不够智能、探查效率低，并且人工编写SQL查询指令也容易出错，人工投入的工作量较大，提高了表数据质量的探查成本。

发明内容

有鉴于此，本申请的目的在于提供一种表数据质量探查方法及装置，能够达到快速准确完成表数据的质量探查，并节约表数据质量的探查成本的效果。

第一方面，本申请实施例提供了一种表数据质量探查方法，包括：

获取若干预设属性类别分别对应的校验规则；

建立每种所述校验规则与预设字段集的映射关系；

基于待探查的表字段与所述预设字段集中的多个表字段之间的编辑距离，来确定所述待探查的表字段对应的所述预设字段集中的目标表字段；

根据每种所述校验规则与预设字段集的映射关系，确定所述目标表字段对应的校验规则；

利用所述目标表字段对应的校验规则，对所述待探查的表字段的实例数据进行质量探查。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，在获取若干预设属性类别分别对应的校验规则之前，还包括：

利用若干预设属性类别分别对应的校验规则构建校验规则库。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，在构建所述校验规则库之后，还包括：

接收对所述校验规则库的编辑指令，并基于所述编辑指令对所述校验规则库进行编辑；

其中，所述编辑指令包括：用于修改所述校验规则库的校验规则的修改指令和/或用于增加自定义校验规则的增加指令。

结合第一方面，本申请实施例提供了第三方面的第一种可能的实施方式，其中，基于待探查的表字段与所述预设字段集中的多个表字段之间的编辑距离，来确定所述待探查的表字段对应的所述预设字段集中的目标表字段，包括：

确定待探查的表字段与所述预设字段集中的多个表字段之间的编辑距离；

从多个所述编辑距离中确定最小编辑距离；

若所述最小编辑距离对应所述预设字段集中的一个表字段，则确定该表字段为目标表字段；

若所述最小编辑距离对应所述预设字段集中的至少两个表字段，则随机选取所述至少两个表字段中的一个表字段作为目标表字段。

结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，其中，根据每种所述校验规则与预设字段集的映射关系，确定所述目标表字段对应的校验规则，包括：