[发明专利]一种用于城市级数据中台的数据治理系统

说明书

本发明提供一种用于城市级数据中台的数据治理系统，涉及数据处理技术领域，包括：数据标准管理平台，用于存储和管理预先制定的至少一数据管理规范和至少一质量管理规范；元数据管理模块，用于根据数据管理规范对数据资源关联的元数据进行管理；数据质量管理模块，用于根据质量管理规范生成数据质量管理标准，并根据数据质量管理标准对元数据的管理过程进行质量管控；公共管理与门户模块，用于为元数据管理模块、数据标准管理模块和数据质量管理模块提供统一的用户权限管理支持和导航查询。本技术方案满足进行库表元数据的查看，数据之间血缘关系与影响的查看，以及数据之间依赖关系的分析，能更好地为城市级数据中台服务。

技术领域

本发明涉及数据处理领域，尤其涉及一种用于城市级数据中台的数据治理系统。

背景技术

数据中台是数据应用开发门户，具有闭环涵盖数据应用开发全流程，完整覆盖离线计算、实时计算应用等功能。能够满足开发人员从数据采集、数据分析、数据挖掘、数据质量、数据地图、数据模型、数据API的各层次应用。可以理解，使用数据中台可以解放开发人员的生产力，极大的缩短数据价值的萃取过程，提高企业提炼数据价值的能力。但是现有的数据中台中，数据治理服务不够完备，同时数据治理服务功能中对元数据的管理功能不够完善。

发明内容

针对现有技术中存在的问题，本发明提供一种用于城市级数据中台的数据治理系统，具体包括：

用于对城市级数据中台的一数据资源中心存储的数据资源进行数据治理，包括：

数据标准管理平台，用于存储和管理预先制定的至少一数据管理规范和至少一质量管理规范；

元数据管理模块，连接所述数据标准管理平台，用于根据所述数据管理规范对所述数据资源关联的元数据进行管理；

数据质量管理模块，分别连接所述元数据管理模块和所述数据标准管理平台，用于根据所述质量管理规范生成数据质量管理标准，并根据所述数据质量管理标准对所述元数据的管理过程进行质量管控；

公共管理与门户模块，分别连接所述元数据管理模块、所述数据标准管理平台和所述数据质量管理模块，用于为所述元数据管理模块、所述数据标准管理平台和所述数据质量管理模块提供统一的用户权限管理支持和导航查询。

优选的，所述元数据管理模块采用分层架构，所述分层架构由下至上包括：

采集层，用于采集各种所述元数据，并对各所述元数据进行初步的数据解析得到各所述元数据之间的元数据关系；

存储层，用于对所述采集层输入的各所述元数据进行集中存储，并对所述元数据关系进行存储；

应用层，用于对所述元数据及所述元数据关系进行分析及管理；

服务层，用于提供基于所述元数据的对外服务。

优选的，所述采集层通过预先配置的采集适配器和/或预先生成的数据导入模块进行各所述元数据的采集。

优选的，所述元数据包括：

分布式文件系统元数据、分布式数据仓库元数据、分布式NoSQL数据库元数据、数据检索组件元数据和实时流计算组件元数据中的一种或多种。

优选的，所述应用层包括：

血缘分析单元，用于对各所述元数据进行血缘分析获取各所述元数据的数据来源；

影响分析单元，用于对各所述元数据发生变更时对其他系统和数据产生的影响进行分析。

数据重要性分析单元，用于从各所述元数据的被使用频率、被访问次数、暗数据判别结果来分析各所述元数据的重要性；