[发明专利]一种数据质量可视化检测系统及方法

说明书

本发明公开了一种数据质量检测系统及方法，所述的检测系统包括检测规则配置模块、元数据库、检测引擎、大数据模块、报警模块和工作流模块；所述的检测方法包括解析任务信息，提取出任务信息对应的检测规则，查询出需要的检测规则元数据信息，查询出真实的数据信息，通过对比来输出检测结果，根据检测结果决定是否发送警告。本发明做到了可视化的数据质量检测规则配置，摒弃了脚本检测方式，大大的提高了数据质量检测效率。

技术领域

本发明属于数据处理技术领域，具体涉及一种数据质量可视化检测系统及方法。

背景技术

数据质量是指通过一些业界的标准去评估企业已有数据的一个质量好坏，通过评估其完整性、准确性、及时性、一致性这几个方面来检测企业数据的质量问题。互联网是一个建立在数据之上的服务行业，数据质量的好坏直接影响到企业的生存能力和竞争力。如果数据质量不佳，便容易给企业带来以下危害：

1. 干扰运营分析、影响决策；

2. 影响算法模型质量，导致服务不够智能化；

3. 耗费人力，分析师、算法工程师、数据科学家因为数据质量问题推倒工作重来。

因此如何提升企业数据的质量成为了重中之重，成为企业必须要解决的一个难题。目前，业内对数据质量的检测，一般是手动的去创建一些python、shell等脚本，通过编写一些检测逻辑到脚本内实现对现有数据的质量检测。该方法首先需要写一些脚本，增加了开发的难度以及复杂度，其次何时去检测数据成为一个比较难控制的点，如果提前去检测，数据可能没有产出，如果太迟去检测，起不到一个及时报警的作用，失去了及时性这个评估标准。针对现有技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

有鉴于此，本发明提出一种数据质量可视化检测系统及方法。

为了达到目的，本发明提供的技术方案为：

本发明涉及一种数据质量检测系统，其包括检测规则配置模块、元数据库、检测引擎、大数据模块、报警模块和工作流模块，所述的检测规则配置模块与元数据库连接用于对数据的检测规则元信息存储到元数据库中，检测引擎与工作流模块使工作流模块运行完成后触发检测引擎，检测引擎与元数据库连接能够根据任务信息从元数据库中获取检测规则信息，检测引擎与大数据模块连接从大数据模块中获取数据信息跟检测规则信息进行匹配，检测引擎与报警模块连接用于根据检测结果发出警报。

优选地，所述的检测规则配置模块包括WEB前端与后台服务端；所述的后台服务端包括用于接收WEB前端http请求，同时负责把响应输出给WEB前端的控制层，用于执行请求的业务层和用于查询、保存、更新、删除检测规则元数据的数据库层。

一种数据质量检测方法，其包括以下步骤：

（1）接收工作流模块发出的任务信息，解析任务信息，提取出任务信息对应的检测规则；

（2）在元数据库查询出需要的检测规则元数据信息；

（3）根据检测规则的元数据信息从大数据模块中查询出真实的数据信息；

（4）通过检测规则信息跟真实数据信息的比较，来输出检测结果；

（5）根据检测结果决定是否发送警告信息给报警模块进行报警。

优选地，所述的检测规则元数据信息通过检测规则配置模块人为配置储存在元数据库。

优选地，所述的人为配置包括以下步骤：

（2.1）WEB前端发送请求；

（2.2）接收WEB前端的http请求，同时把响应输出给WEB前端；

（2.3）执行WEB前端的http请求；