[发明专利]一种治理数据的方法有效
申请号: | 202110133723.9 | 申请日: | 2021-02-01 |
公开(公告)号: | CN112800042B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 周双;李婕;张兆勇 | 申请(专利权)人: | 浪潮云信息技术股份公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F16/22;G06F16/25;G06Q10/10;G06Q50/26 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 姜鹏 |
地址: | 250100 山东省济南市高*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 治理 数据 方法 | ||
1.一种治理数据的方法,其特征在于,首先,梳理数据资源清单和数据元标准,确定数据治理范围和治理目标;然后,使用单表数据检测、多表数据整合和应用反馈处理三阶段实施治理;最后,治理情况统计监控展示;
将数据分为部门前置库、中心前置区、原始区、标准区、问题区、主题库区和服务应用区;
所述部门前置库为各部门提供数据到部门前置库;
所述中心前置区为对外交换的通道;
所述原始区保留数据的原始形态,用于数据问题追溯;
所述标准区存储清洗、加工后的标准规范数据;
所述问题区存储治理过程的问题数据和冲突数据,定时推送到中心前置问题区交换到各个部门;
所述主题库区存储基础主题库数据,按照基础主题库的业务场景进行数据的重组整合;
所述服务应用区从原始区、标准区或基础主题区抽取相关数据进行保存;
所述中心前置区用于部门提供数据,经数据交换到中心前置区,所述中心前置区连通各个部门前置库,对外交换的通道;
所述原始区数据每次新增,不做更新和删除操作;
所述问题区的数据每次新增,不做更新和删除操作;
所述单表检测分为两个步骤进行,一是在中心前置库往原始库抽取数据过程中做初步完整性校验;二是在原始库到标准库清洗转换过程中做准确性校验;
在单表检测中初步完整性校验和准确性校验不通过时,不通过数据存入问题库的单表数据问题库中,所述单表数据问题库按部门分库进行数据问题存储;
所述单表检测按照普适规则进行;
所述多表数据整合中,多表数据冲突处理在标准库整合为主题库或服务应用库时进行,校验不通过数据存入问题库的多表业务冲突库中,所述多表数据冲突库以具体业务应用命名,问题表名为具体检测内容_DIFF;
在多表数据整合中,创建问题数据同步任务,每个冲突表一个任务,定时增量同步冲突数据至中心前置库中,中心前置库问题数据由交换系统交换回部门前置库;
业务部门获取问题数据后进行确认,错误问题修改后再次同步至部门前置库中,如确认数据无问题,重新同步上批次未校验通过数据;
所述应用反馈处理多采用人工和工具相结合的方式去处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮云信息技术股份公司,未经浪潮云信息技术股份公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110133723.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:洗呢机出布滚筒
- 下一篇:一种视频广告播放监控方法及装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置