[发明专利]一种基于大数据血缘的数据质量追踪系统及方法

说明书

本发明公开了一种基于大数据血缘的数据质量追踪系统及方法，属于大数据技术领域。本发明的基于大数据血缘的数据质量追踪系统包括血缘关系生成模块、血缘关系管理模块、数据质量检测模块、数据质量追踪模块，所述血缘关系生成模块分析字段粒度的血缘关系，血缘关系管理模块用于生成血缘关系完整链路图，数据质量检测模块用于判断数据表或字段的质量等级，数据质量追踪模块用于定位数据问题目标表或字段。该发明的基于大数据血缘的数据质量追踪系统能够将数据的来源与目标关系梳理清楚，使得数据质量检测效果更加有效，具有很好的推广应用价值。

技术领域

本发明涉及大数据技术领域，具体提供一种基于大数据血缘的数据质量追踪系统及方法。

背景技术

互联网数据的爆炸增长，使得众多机构组织需要维护的数据量不断增大，传统的手工写sql筛选查找数据库数据的方式越来越乏力，落后的数据管理无法适应当前的大数据量，众多数据在数据库中得不到有效利用，抽取相关数据费时费力，目前存在的应用处理程序，大都需要自己整理好初始数据后才可以运行。

互联网的发展使得各类网络数据不断累积，不同业务所应用数据库存储技术也有所差别，在大数据技术普遍兴起的情况下，使用大数据技术将数据进行有效的管理是进行数据挖掘的基础。

数据的产生，转移，与处理等流程使得数据之间产生一种链路关系，这种关系描述了数据的依赖关系，我们称之为数据的血缘关系。

血缘关系提供了一种数据来源追溯功能，依靠互联网中各类的语法树解析器，我们可以通过解析数据库操作语句的语法树实现对各类数据库的血缘解析功能，将此功能应用在数据治理平台中，通过治理平台所进行每条数据表的产生与数据的转移，我们都可以为其生成血缘关系。

数据容量的扩大与来源的复杂使得数据的好坏不一，我们通常要对数据进行清洗处理，提取整合，对于处理后的数据我们需要使用一套评价系统来确认数据是否符合标准，这是数据质量检测平台产生的原因。数据质量平台所进行的一系列检测，例如单列检测，多列检测，逻辑性检测等检测表出现的问题之后，我们更希望找到问题的根源。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种能够将数据的来源与目标关系梳理清楚，使得数据质量检测效果更加有效的基于大数据血缘的数据质量追踪系统。

本发明进一步的技术任务是提供一种基于大数据血缘的数据质量追踪方法。

为实现上述目的，本发明提供了如下技术方案：

一种基于大数据血缘的数据质量追踪系统，包括血缘关系生成模块、血缘关系管理模块、数据质量检测模块、数据质量追踪模块，所述血缘关系生成模块分析字段粒度的血缘关系，血缘关系管理模块用于生成血缘关系完整链路图，数据质量检测模块用于判断数据表或字段的质量等级，数据质量追踪模块用于定位数据问题目标表或字段。

作为优选，所述血缘关系生成模块依托数据治理平台，依据数据治理平台的数据任务，分析字段粒度的血缘关系。

作为优选，所述血缘关系管理模块通过将不同治理任务的血缘关系整合，生成血缘关系完整链路图，形成从原始表到最终表的可追踪链路，用于血缘查询。

作为优选，所述数据质量追踪模块根据数据质量检测模块快的结果进行数据追踪，定位数据问题目标表或字段。

一种基于大数据血缘的数据质量追踪方法，包括以下步骤：

S1、建立血缘关系库：规范化管理数据源，分析血缘关系，并进行血缘关系的整合；

S2、追踪数据质量检测结果：在数据质量平台进行检测，并将检测结果进行追踪处理。

作为优选，规范化管理数据源将不同类型的数据源注册到管理系统中，将数据源作为唯一的数据来源。