[发明专利]一种问题数据全生命周期数据质量管理方法及系统

说明书

本发明公开了一种问题数据全生命周期数据质量管理方法及系统，基于对问题数据建立唯一的指纹码后，建立问题数据指纹数据库，实现对问题数据的全生命周期的监管和监控，有效提升问题数据的精益化管理，能实现问题数据全流程闭环管控、实现问题数据的多维角度分析统计，提高问题数据全生命周期的数据质量精益化管理，并能分析问题数据的续存时间，存量、增量问题数据变化情况，问题数据的类型、规则，通过对指标、问题数据多维度分析，强化信息中心数据质量管控能力，实现数据治理“说得清、看得见、管得住”。

技术领域

本发明涉及一种数据质量的管理、处理、分析技术，尤其是一种问题数据全生命周期数据质量管理方法及系统。

背景技术

数据质量管理作为数据资产管理重要内容之一，是公司各业务域工作高效运转的基础，关乎各业务域精益管理工作和大数据分析工作开展的成败，对促进公司数据决策能力提升有着至关重要的作用。

目前，CSGII信息系统数据质量管理以省公司数据资源管理平台为主要支撑工具，重点对各业务系统核心数据、指标的完整性、规范性、准确性、及时性、一致性开展通报监督工作，每月从平台中导出生产、营销、财务、基建、物资、人资、协同域数据质量指标，针对存在的指标数据质量问题开展数据质量治理和实用化工作，并以文件的形式通报监督，来实现指标管控，各业务域及协同数据质量均得到了大幅提升，但现存的管理模式还存在以下问题亟需解决：

(1)省公司数据资源管理平台侧重于指标管控，对问题数据无法实现跟踪管理，管控力度及粒度不够精细。

(2)数据治理量的管理集中在供电局层面，涉及6个业务域及协同域，数据的整理、指标分析工作量大。

(3)无法实现对供电所层面及各基层单位的管控。县级供电局信息人员缺乏有效的支撑工具来实现对本单位数据质量管理，对本单位数据治理支撑力较弱。

(4)现有数据资源管理平台仅提供扫描报告，缺乏数据的分析统计功能，数据的分析、统计均需要人工导出原始数据，通过excel表格开展，每月需要耗费大量时间、人力编制通报文件,通报的频次、效率低。

(5)积累的大量的历史数据，缺乏对这些历史数据有效存储、应用方式。

发明内容

为解决上述现有技术存在的不足，本发明的发明目的在于提高问题数据全生命周期的数据质量精益化管理，并能分析问题数据的续存时间，存量、增量问题数据变化情况，问题数据的类型、规则，通过对指标、问题数据多维度分析，强化信息中心数据质量管控能力，实现数据治理“说得清、看得见、管得住”。具体的，本发明是这样实现的：

一种问题数据全生命周期数据质量管理方法，包括以下步骤：1)获取问题数据的问题信息，并将每一条问题信息基于唯一性标识建模，构造与每一条问题数据唯一对应的问题数据指纹信息，并存储问题数据及问题数据指纹信息；2)将问题数据匹配建立多维度分拣条目，并基于分拣条目将问题数据划分为问题元数据和问题主数据；3)将问题数据下放任务下达，等待整改；4)基于整改后，或一定时间周期后，对一条或多条问题数据进行问题数据指纹信息二次验证，若通过验证，该问题数据消亡；若未通过验证，该问题数据返回步骤3)等待再次整改。

进一步的，所述唯一性标识建模为，将问题数据的问题信息利用128位MD5加密散列算法算得问题数据指纹。

进一步的，所述步骤1)中获取问题数据的问题信息后，还包括：提取或记录问题数据出现的时间值，提取问题数据的来源信息，对相同的问题数据指纹信息作重复问题数据的合并。

进一步的，所述问题元数据的分拣条目包括：问题数据出现、持续、消除的时间、问题数据出现的频次、问题数据的业务域、问题数据的类型、问题数据来自的组织单位、问题数据的优先级或校验规则中的一种或多种；所述问题主数据是描述问题数据对应的核心业务实体的主数据，是解决的问题数据的核心业务对象、执行主体；其分拣条目包括：用电用户信息、计量点信息、变压器信息。