[发明专利]一种用于城市级数据中台的数据治理系统在审
申请号: | 202011176826.5 | 申请日: | 2020-10-28 |
公开(公告)号: | CN112199433A | 公开(公告)日: | 2021-01-08 |
发明(设计)人: | 陈正伟;辛帅;陈建华 | 申请(专利权)人: | 云赛智联股份有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/28;G06F16/248;G06F16/2457;G06Q50/26 |
代理公司: | 上海申新律师事务所 31272 | 代理人: | 党蕾 |
地址: | 200120 上海市浦东新区中国*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 用于 城市 级数 据中台 数据 治理 系统 | ||
1.一种用于城市级数据中台的数据治理系统,其特征在于,用于对城市级数据中台的一数据资源中心存储的数据资源进行数据治理,包括:
数据标准管理平台,用于存储和管理预先制定的至少一数据管理规范和至少一质量管理规范;
元数据管理模块,连接所述数据标准管理平台,用于根据所述数据管理规范对所述数据资源关联的元数据进行管理;
数据质量管理模块,分别连接所述元数据管理模块和所述数据标准管理平台,用于根据所述质量管理规范生成数据质量管理标准,并根据所述数据质量管理标准对所述元数据的管理过程进行质量管控;
公共管理与门户模块,分别连接所述元数据管理模块、所述数据标准管理平台和所述数据质量管理模块,用于为所述元数据管理模块、所述数据标准管理平台和所述数据质量管理模块提供统一的用户权限管理支持和导航查询。
2.根据权利要求1所述的数据治理系统,其特征在于,所述元数据管理模块采用分层架构,所述分层架构由下至上包括:
采集层,用于采集各种所述元数据,并对各所述元数据进行初步的数据解析得到各所述元数据之间的元数据关系;
存储层,用于对所述采集层输入的各所述元数据进行集中存储,并对所述元数据关系进行存储;
应用层,用于对所述元数据及所述元数据关系进行分析及管理;
服务层,用于提供基于所述元数据的对外服务。
3.根据权利要求2所述的数据治理系统,其特征在于,所述采集层通过预先配置的采集适配器和/或预先生成的数据导入模块进行各所述元数据的采集。
4.根据权利要求2所述的数据治理系统,其特征在于,所述元数据包括:
分布式文件系统元数据、分布式数据仓库元数据、分布式NoSQL数据库元数据、数据检索组件元数据和实时流计算组件元数据中的一种或多种。
5.根据权利要求2所述的数据治理系统,其特征在于,所述应用层包括:
血缘分析单元,用于对各所述元数据进行血缘分析获取各所述元数据的数据来源;
影响分析单元,用于对各所述元数据发生变更时对其他系统和数据产生的影响进行分析。
数据重要性分析单元,用于从各所述元数据的被使用频率、被访问次数、暗数据判别结果来分析各所述元数据的重要性;
分析结果导出单元,分别连接所述血缘分析单元、所述影响分析单元和所述数据重要性分析单元,用于将各所述元数据的分析结果进行导出。
6.根据权利要求5所述的数据治理系统,其特征在于,所述应用层还包括元数据管理单元,用于对所述元数据进行元数据视图管理,和/或元数据维护,和/或元数据查询,和/或元数据导出,和/或元数据版本管理和/或元数据变更管理。
7.根据权利要求1所述的数据治理系统,其特征在于,所述数据质量管理模块包括:
标准映射单元,用于根据所述质量管理规范生成相应的约束或模板,供用户对数据质量规则、评分卡和知识库进行定制;
检核管理单元,用于供用户对计算生成的检核任务进行配置和调度管理;
数据质量报告数据库,用于根据所述检核任务对应的检核结果生成定制化的数据质量报告;
问题管理单元,连接所述数据质量报告数据库,用于根据所述数据质量报告进行数据质量问题的发现、报警和处理。
8.根据权利要求1所述的数据治理系统,其特征在于,所述公共管理与门户模块包括:
公共管理单元,用于提供用户管理、角色管理、权限管理、日志管理、数据库管理、安全管理和审计管理的服务,实现为所述元数据管理模块、所述数据标准管理平台和所述数据质量管理模块提供统一的用户权限管理支持。
9.根据权利要求8所述的数据治理系统,其特征在于,所述公共管理与门户模块还包括:
门户单元,用于提供查询检索、导航、通用功能和门户管理的服务,实现为所述元数据管理模块、所述数据标准管理平台和所述数据质量管理模块提供导航查询。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于云赛智联股份有限公司,未经云赛智联股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011176826.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种直流电机调光执行器
- 下一篇:一种厨余垃圾含油废水油水分离的装置和方法