[发明专利]一种治理数据的方法

说明书

本发明涉及计算机大数据技术领域，具体提供了一种治理数据的方法，其特征在于，首先，梳理数据资源清单和数据元标准，确定数据治理范围和治理目标；然后，使用单表数据检测、多表数据整合和应用反馈处理三阶段实施治理；最后，治理情况统计监控展示。与现有技术相比，本发明可大大提高数据治理工作的效率，便于数据治理工作有条理和有保障的进行，具有良好的推广价值。

技术领域

本发明涉及计算机大数据技术领域，具体提供一种治理数据的方法。

背景技术

政务数据具备规模大、种类多和价值高的特点，跨部门的业务数据需求也越来越明显，加之政务信息化多年的建设成果，政务大数据汇集了各级政府部门的业务数据，数据种类众多，且事关百姓生活的方方面面，数据的潜在价值巨大。

随着信息技术的发展，政府部门越来越重视政务数据的质量和数据的价值。对数据的收集和治理开始进行有目的的规划，对数据进行计划的管理。但是，目前大部分政务数据从业人员进行数据维护和数据清洗时缺少顶层设计规划指导，或者规划难以落地实施，导致实际数据治理实施工作量大且繁琐，并且没有形成规范化的体系。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的治理数据的方法。

本发明解决其技术问题所采用的技术方案是：

一种治理数据的方法，首先，梳理数据资源清单和数据元标准，确定数据治理范围和治理目标；然后，使用单表数据检测、多表数据整合和应用反馈处理三阶段实施治理；最后，治理情况统计监控展示。

进一步的，将数据分为部门前置库、中心前置区、原始区、标准区、问题区、主题库区和服务应用区；

所述部门前置库为各部门提供数据到部门前置库；

所述中心前置区为对外交换的通道；

所述原始区保留数据的原始形态，用于数据问题追溯；

所述标准区存储清洗、加工后的标准规范数据；

所述问题区存储治理过程的问题数据和冲突数据，定时推送到中心前置问题区交换到各个部门；

所述主题库区存储基础主题库数据，按照基础主题库的业务场景进行数据的重组整合；

所述服务应用区从原始区、标准区或基础主题区抽取相关数据进行保存。

进一步的，所述中心前置区用于部门提供数据，经数据交换到中心前置区，所述中心前置区连通各个部门前置库，对外交换的通道；

所述原始区数据每次新增，不做更新和删除操作；

所述问题区的数据每次新增，不做更新和删除操作。

进一步的，所述单表检测分为两个步骤进行，一是在中心前置库往原始库抽取数据过程中做初步完整性校验；二是在原始库到标准库清洗转换过程中做准确性校验。

进一步的，在单表检测中初步完整性校验和准确性校验不通过时，不通过数据存入问题库的单表数据问题库中，所述单表数据问题库按部门分库进行数据问题存储。

作为优选，所述单表检测按照普适规则进行。

进一步的，所述多表数据整合中，多表数据冲突处理在标准库整合为主题库或服务应用库时进行，校验不通过数据存入问题库的多表业务冲突库中，所述多表数据冲突库以具体业务应用命名，问题表名为具体检测内容_DIFF。

进一步的，在多表数据整合中，创建问题数据同步任务，每个冲突表一个任务，定时增量同步冲突数据至中心前置库中，中心前置库问题数据由交换系统交换回部门前置库；