[发明专利]基于数据仓库及ETL的数据质量监控及预警方法和系统

说明书

本发明公开了一种基于数据仓库及ETL的数据质量监控及预警方法和系统，方法包括步骤：同步源数据至数据仓库并设置预警阈值，当所述源数据在所述预警阈值内时，对所述源数据进行标准化处理得到标准化源数据；对标准化源数据进行元数据管理得到第一数据；根据业务规则和数据标准去除第一数据中的脏数据得到第二数据；根据数据质量体系规则对第二数据进行处理得到第三数据；生成可视化预警报表，对第三数据进行可视化，突出显示异常的数据库表。本发明能够在建立数据仓库和ETL过程进行监控数据质量，提高数据的易读性，准确性。

技术领域

本发明涉及计算机领域，更具体地，涉及一种基于数据仓库及ETL的数据质量监控及预警方法和系统。

背景技术

大数据时代的到来，带给企业很多的数据资产，企业需要在众多数据中利用有效数据来进行分析和数据挖掘，而在这个过程中，会导致很多问题。目前本领域主要存在以下问题：

1、由于企业数据来自不同的业务系统，上游数据源数据出现异常，例如爬虫数据出现结构变化，爬虫失败等导致下游ETL数据错误；

2、在建立数据仓库和ETL过程中元数据缺乏有效管理，导致数据的易读性很差，不能最大能力发挥元数据的功能性；

3、数据表中数据质量问题，主要突出表现在以下几种：

1)数据缺乏有效的主键，导致数据出现重复；

2)数据不符合标准数据类型；

3)数据不符合标准数据业务规则，例如数据的区间为1-100，表中出现了100以上的数据；

4)数据表主要指标，例如每天的业务量不正常，例如在职人数每天大概在2000人左右，由于数据问题出现某天为100人左右等异常数据；

4、企业没有有效的对数据仓库和ETL过程中进行有效的监控和预警，数据开发人员不能快速的了解目前数据的情况，数据异常得不到及时通知，引起下游相关引用该数据出现问题，给数据分析和决策人员带来错误的指导。

有鉴于此，克服该现有技术所存在的缺陷是本领域亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种基于数据仓库及ETL的数据质量监控及预警方法和系统，使得在建立数据仓库和ETL过程进行监控数据质量，提高数据的易读性，准确性。

一方面本发明提供了一种基于数据仓库及ETL的数据质量监控及预警方法，包括步骤：

同步源数据至数据仓库并设置预警阈值，当所述源数据在所述预警阈值内时，对所述源数据进行标准化处理得到标准化源数据；

对所述标准化源数据进行元数据管理，通过元数据将海量报表中的目标表、目标字段进行业务描述得到第一数据；

根据业务规则和数据标准去除所述第一数据中的脏数据得到第二数据，所述脏数据是指不在给定的范围内或对于实际业务毫无意义、或是数据格式非法、或存在不规范的编码和含糊的数据；

根据数据质量体系规则对所述第二数据进行处理得到第三数据；

生成可视化预警报表，对所述第三数据进行可视化，突出显示异常的数据库表。

基于同一发明思想，本发明还提供了一种基于数据仓库及ETL的数据质量监控及预警系统，包括源数据标准化处理模块、数据仓库元数据管理模块、ETL规则处理模块、数据质量体系规则验证模块、以及可视化预警报表生成模块，其中，

所述源数据标准化处理模块与所述数据仓库元数据管理模块相耦接，用于将同步到数据仓库中的源数据进行标准化处理得到标准化源数据，并将所述标准化源数据发送至所述数据仓库元数据管理模块；