[发明专利]数据质量管理方法和系统

说明书

技术领域

本发明涉及数据质量管理方法和系统，特别涉及水文行业数据质量管理方法和系统。

背景技术

国家水文数据库是重要的国情基础信息库和战略信息资源库，是国民经济建设与社会发展中一切水事活动决策的依据，也是水文行业服务于社会、经济、环境、生态和国防等领域的主体信息产品。多年以来，由于缺乏统一的数据存储规范，使得各地水文数据存储形式各异，水文数据库现状远不能满足社会发展需要。因此，必须加快国家水文数据库的建设，为经济社会发展、涉水问题的科学研究和工程建设更好地提供基于现代信息技术的信息综合服务。

国家水文数据库的质量直接影响相关决策的正确性，是贯穿于国家水文数据库建设运行全过程的灵魂。为此迫切需要设计并开发一个专门的数据质量管理系统来全面支撑水文行业的数据质量管理，这为水文行业如何用信息化手段来支撑数据质量管理从而持续改进数据质量提供了广泛应用前景。

发明内容

发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提供一种数据质量管理方法和系统，立足于水文行业数据处理全过程，致力于整个水文行业数据质量的监控、评估和持续改善。

技术方案：为实现上述发明目的，本发明采用的第一种技术方案为一种数据质量管理方法，包括如下步骤：

(1)质量知识库管理：对数据质量特点分析，预先设置质量问题库、质量维度库、质量规则库和质量标准库；

(2)质量信息采集：在质量知识库中选择用户需求的质量维度和质量规则，并从原始数据集中抽取满足用户需求的数据集；

(3)数据质量评估：根据采集的质量信息，进行数据质量评估，并根据质量知识库中的质量问题和质量标准，生成数据质量报告提交给用户或质量管理人员；

(4)数据质量改进：对数据质量评估中检测到的数据质量问题进行修正和改进。

还可包括如下步骤：

(5)质量目标确认：判断改进后的数据质量是否达到用户需求，若达到用户需求则生成目标数据集，否则返回步骤(3)。

所述步骤(4)中，可采用自动和手动两种方式进行修正和改进，还可记录质量改进日志信息。

本发明采用的第二种技术方案为一种数据质量管理系统，包括：

质量知识库模块，用于对数据质量特点分析，预先设置质量问题库、质量维度库、质量规则库和质量标准库；

质量信息采集模块，用于在质量知识库模块中选择用户需求的质量维度和质量规则，并从原始数据集中抽取满足用户需求的数据集；

数据质量评估模块，用于根据质量信息采集模块采集的质量信息，进行数据质量评估，并根据质量知识库模块中的质量问题和质量标准，生成数据质量报告提交给用户或质量管理人员；

数据质量改进模块，用于对数据质量评估模块检测到的数据质量问题进行修正和改进。

质量知识库模块中，质量问题库：可存放与水文数据质量管理过程中已经遇到或者可能遇到的各类问题，问题可以分类、分级管理与维护；

质量(评估)维度库：可存放水文数据质量管理关注的准确性、一致性、完整性、及时性、可获取性等度量指标；

质量规则库：可存放数据质量评估与检测所涉及的技术规则，质量规则根据质量问题和质量指标建立；

质量标准库：可存放对数据质量合格与否的评判标准。

还可包括质量目标确认模块，用于判断改进后的数据质量是否达到用户需求，若达到用户需求则生成目标数据集，否则返回数据质量评估模块。

所述数据质量改进模块可采用自动和手动两种方式进行修正和改进，还可记录质量改进日志信息。

有益效果：本发明面向水文行业数据处理全过程，对水文数据质量的全方位控制与提升可以起到有益的促进效果。通过本发明提供的数据质量管理系统，可以为水文行业采用信息化手段来保证数据质量管理从而持续改进水文数据质量提供技术支撑。

附图说明

图1是依据本发明的一个具体实施例的数据质量管理系统的结构框架图；

图2是依据本发明的一个具体实施例的数据质量评估流程图；

图3是依据本发明的一个具体实施例的数据质量改进流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。