[发明专利]数据质量检查方法及系统

说明书

本发明提供了一种数据质量检查方法及系统，属于数据管控技术领域。数据质量检查系统中，所述监控组件，用于调用所述数据采集组件和所述质量检查组件；所述数据采集组件，用于批量地或实时地获取检查对象，并将检查对象存入所述数据存储组件；所述质量检查组件，用于从所述质量规则库中获取质量规则，并从所述数据存储组件获取检查对象，根据所述质量规则对所述检查对象进行质量检查，所述质量规则的类型与所述检查对象的数据类型相匹配；所述监控组件，还用于记录所述质量检查组件的检查结果以及异常数据，并根据用户输入的查询指令返回查询结果。通过本发明的技术方案，能够自动地对海量数据进行实时质量监控。

技术领域

本发明涉及数据管控技术领域，特别是指一种数据质量检查方法及系统。

背景技术

数据质量管理(Data Quality Management)，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。高质量的数据也就是精确的、一致的和及时可用的数据，是当今组织管理不可缺少的一个因素。组织机构必须努力识别与其决策制定相关的数据，以便制定确保数据准确性和完全性的业务策略和实践，并为企业范围的数据共享提供方便。

改进数据质量的首要任务是定义一套标准化的数据规范，对具体数据项的定义、口径、格式、取值、单位等进行规范说明，形成对该数据项的具体质量要求，依托这套规范作为衡量和提高数据质量的标尺，在数据采集、加工和应用的各环节对关键数据项进行预防性或监测性的核检，暴露各系统数据质量问题。例如，全面分析和编档E-R图和其他文档中的所有业务规则、字段级别的数据完整性约束。

在以大规模并行处理(MPP)、高性能一体机等技术为基础的传统数据仓库环境下，由于各业务数据的处理以批量方式进行，即定时地(一般以天为单位)进行业务数据的采集、处理、汇总、加工。因此数据质量的检查也一般以天为单位批量进行，并定期生成各系统关键数据质量报告，掌握系统数据质量状况。

而在大数据时代的背景下，数据即资产，数据具有数据量大、数据种类多、要求实时性强、数据所蕴藏的价值大的特点。以深度包检测技术(Deep Packet Inspection，DPI)采集的统一DPI数据为例，1万个演进基站(ENB)1天外部数据表示法(External DataRepresentation，XDR)存储量达到了8.5T，而数据处理的业务特征要求24小时实时入库处理，可见，使用传统的批量处理的技术方案进行XDR数据质量的检查方式，在时效性上已经无法满足需求。

传统数据仓库下数据质量管理的处理方式如图1所示。此种模式下，业务数据的采集以批量方式进行。例如在每天24点之前系统收集当日增量或全量的业务数据，将业务数据加载至关系型数据库，同时将业务规则解析为质量规则，逐一进行质量核查。在这种技术方案下，数据质量核查结果存在一定的时间延迟，且由于数据量的增长以及数据质量核查规则复杂性的增加，数据质量检查运行所需的处理时间快速增长，甚至可能出现前一天的数据没有处理完，第二天新数据就已经到达的情况。

可见，在大数据环境下，数据量已经极大的增长，再加上数据类型的多样化，非结构化数据、内外部数据混搭，数据种类多、要求实时性强。传统的数据质量管理模式难以应对数据的复杂性、质量检查的高效性、数据运营的创新性等管理要求。

发明内容

本发明要解决的技术问题是提供一种数据质量检查方法及系统，能够自动地对海量数据进行实时质量监控。

为解决上述技术问题，本发明的实施例提供技术方案如下：

本发明的实施例提供一种数据质量检查系统，包括监控组件，数据采集组件，质量检查组件，质量规则库和数据存储组件，所述数据存储组件采用分布式文件系统HDFS；

所述监控组件，用于调用所述数据采集组件和所述质量检查组件；