[发明专利]一种基于多维标签的数据质量检测方法和系统

说明书

本申请公开了一种基于多维标签的数据质量检测方法和系统。基于已知类型数据项和检测规则库、利用多维标签分析算法为已知类型数据项打上对应的维度标签，并利用维度标签动态调整已知类型数据项的质量检测流程；基于未知类型数据项并结合检测规则库，利用规则相似性评估算法为未知类型数据源推荐质量检测引擎，并对所述质量检测引擎的结果进行验证，获得有效质量检测规则集合；保存已知类型数据项的质量检测流程和有效质量检测规则集合并更新多维标签规则库。该方案通过多维标签算法和规则相似性评估两种算法，解决固定检测规则模板引起的准确性差和时效性弱等问题，实现数据质量的快速准确检测且及时反馈检测结果，提升数据源的质量。

技术领域

本申请涉及数据处理技术领域，具体涉及一种基于多维标签的数据质量检测方法和系统。

背景技术

“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力，才使得大数据成为海量、高增长率和多样化的信息资产。由于各地的大数据系统持续不断地接入不同行业，产生多种多样数据源行的原始数据，经过再加工处理，形成最终的信息资产。每种数据源的质量都是大数据系统能否发挥实效的基础，如何快速准确地检测出各种数据源是否存在质量问题，及时预警并提高数据源的质量，减少最终信息资产的脏数据比例，是大数据能否高效支撑业务办理的关键点。

但是由于大数据系统接入的原始数据的种类多、结构复杂等特点，目前市场上现有的数据质量检测方法，主要通过对每个数据项手工设置检测规则模板，再进行数据质量检测工作，这些技术存在准确性差和时效性弱等问题。通过设置固定检测规则模板的方法，对已知类型的数据项进行检测，经常会遇到一些特殊业务场景下，规则无法灵活调整，无法有效地检测出数据质量问题，导致产生错误的检测结果。此外，当接入的数据源出现未知类型的数据项时，找不到对应的规则模板，需要人工增加对应的规则模板才能使检测流程正常执行，检测的时效性无法满足海量数据高速入库的需要。

发明内容

本申请的目的在于提出了一种基于多维标签的数据质量检测方法和系统，解决由于固定检测规则模板引起的准确性差和时效性弱等问题。

第一方面，本申请实施例提供了一种基于多维标签的数据质量检测方法，该方法包括：

S1：利用大数据系统接入的各业务场景对原始数据，进行数据项的分类，将数据项分为已知类型数据项和未知类型数据项；

S2：基于已知类型数据项和检测规则库、利用多维标签分析算法为已知类型数据项打上对应的维度标签，并利用维度标签动态调整已知类型数据项的质量检测流程；

S3：基于未知类型数据项并结合检测规则库，利用规则相似性评估算法为未知类型数据源推荐质量检测引擎，并对所述质量检测引擎的结果进行验证，获得有效质量检测规则集合；以及

S4：保存已知类型数据项的质量检测流程和有效质量检测规则集合并更新多维标签规则库。

在该方法中，利用多维标签分析算法，对已知类型的数据项打上不同维度的标签,根据所打的标签动态调整已知类型数据项的质量整检测规则；利用规则相似性评估算法并结合数据项的多维标签，自动推荐未知类型数据项的质量检测规则，实现数据质量的快速准确检测且及时反馈检测结果，提升数据源的质量，减少最终信息资产的脏数据比例，提升大数据的业务支撑能力。

在一些具体实施例中，S2步骤中的多维标签分析算法具体包括以下子步骤：

S21：基于已知类型数据项的业务类型和数据项类型结合检测规则库映射存储到检测规则数据集合S_n；

S22：将检测规则数据集合S_n根据不同规则类型拆分成必检集合Z_m和可检集合K_m,并分别根据检测顺序进行倒序排序，获得对应的倒序必检集合Z′_m和倒序可检集合K′_m；