[发明专利]数据质量判定及监测方法、管理系统、存储介质、终端

说明书

本发明公开一种数据质量判定及监测方法、管理系统、存储介质、终端，涉及数据处理技术领域。对不同来源的数据，根据每个字段配置的质量判定规则，进行数据质量判定，并对每一项质量要求进行逐一核查，所有检测项均判定合格后入库；对于数据质量判定过程中发现的不合格数据，根据所述不合格数据异常类型配置对应的处理程序，保留有价值的数据，去除无用的数据；对数据持续进行质量监测，进行重复率、缺失率、错误率相关指标统计分析，最终输出数据质量报告。本发明在质量判定的过程中，持续监测各个数据源的质量，形成数据质量报告，反馈到数据源处进行整改，有效提高数据质量管理的效率。

技术领域

本发明公开涉及数据处理技术领域，尤其涉及一种数据质量判定及监测方法、管理系统、存储介质、终端。

背景技术

目前，随着互联网的发展，各行各业产生的网络数据成指数增长，企业愈发重视数据资产的管理，尤其是数据治理。对于采集的数据，发现由于数据来源众多，而且质量参差不齐，容易造成入库数据内容不准确、格式不统一、逻辑不合理、某些字段数据缺失、数据重复、数据延时等问题，为后续的数据处理和分析工作带来很多困扰。在这种情况下，数据一旦批量入库，不仅可利用率不高，而且会造成资源的浪费，所以制定一套数据质量判定方法及管理系统非常有必要。

另一方面，由于采集数据量高达百万级甚至千万级，传统的人工检查方式不可行，必须实现数据质量判定过程自动化。目前有关数据质量管理系统的研究相对较少，在已发表论文或专利中，数据质量管理系统的设计基本上都是围绕质量评价和质量报告这两项功能的实现，并未考虑异常数据的处理问题。

通过上述分析，现有技术存在的问题及缺陷为：

(1)当前的数据质量管理系统的功能模块有限，局限于仅对数据源进行质量判定以及形成质量报告，忽略了异常追溯、处理和反馈环节，无法覆盖数据源质量管理的整个生命周期。

(2)对于质量检测过程中发现的异常数据，现有的数据质量管理系统通常只是将异常问题记录下来并列入数据质量报告。本质上这部分数据会被系统直接过滤，而不推送到数据库，极有可能造成关键信息丢失。尤其是对于网络信息等行业，每一条数据都至关重要。

(3)对于判定异常的数据，直接过滤或是重新采集都不可取，现有的数据质量管理系统未考虑根据异常类型对数据进行修复处理以及修复后质量检查，以最大程度地保证采集数据的完整性。

解决以上问题及缺陷的难度为：

在确认异常数据能否修复之前，需要先对数据进行异常类型标注，按照异常类型以及字段的具体要求配置相应的异常处理规则。由于数据的异常类型多种多样，包括格式错误、逻辑错误、记录重复、记录缺失等，因此异常处理规则的设置较为复杂。

解决以上问题及缺陷的意义为：

(1)在数据管理前期阶段，数据源不可避免地存在各种各样的质量问题。及时对异常数据进行修复处理，可以有效规避大量可修复数据(比如数据类型错误)因系统自动过滤而未能推送数据库的问题，以免影响后续数据分析的准确性。

(2)通过对比异常处理前后的数据质量，可以有效识别数据源管理过程中存在的问题以及改进方向，尽可能将数据异常处理过程前置，通过在数据采集阶段增加相应的限定规则，促进数据源的质量改善，从而提高数据管理的效率。

发明内容

为克服相关技术中存在的问题，本发明公开实施例提供了一种数据质量判定及监测方法、管理系统、存储介质、终端。所述技术方案如下：

根据本发明公开实施例的第一方面，提供一种数据质量判定及监测方法，所述数据质量判定及监测方法包括：

对不同来源的数据，根据每个字段配置的质量判定规则，进行数据质量判定，并对每一项质量要求进行逐一核查，所有检测项均判定合格后入库；