[发明专利]一种基于元数据管理分析系统

说明书

本发明提供一种基于元数据管理分析系统，包括元模型管理模块配置含有源系统业务数据表的业务单元和映射管理单元，源系统业务数据表存储有若干增量字段，映射管理单元用于创建元数据的映射关系和代码匹配规则；元数据采集模块用于采集元数据并将采集到的元数据传输至元数据处理模块，元数据采集模块包括模板管理单元、元数据库以及入库审核单元；模板管理单元用于提供导入导出元数据的模板，元数据库配置有若干元数据，入库审核单元用于对产生变动的元数据提供入库审核功能；元数据处理模块用于将源系统业务数据表进行处理并整合到元数据库。本发明能够为企业建立元数据管理体系提供了可靠、便捷的支持。

技术领域

本发明涉及元数据管理技术领域，具体涉及一种基于元数据管理分析系统。

背景技术

元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(data aboutdata)，主要是描述记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般通过元数据资料库来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同一致。元数据是数据仓库管理的重要组成部分，元数据管理是企业级数据仓库中的核心部分，贯穿了数据仓库的整个生命周期，使用元数据驱动数据仓库的开发，使得数据仓库自动化、可视化。

元数据的基本特点主要有：

a)元数据一经建立，便可共享。元数据的结构和完整性依赖于信息资源的价值和使用环境；元数据的开发与利用环境往往是一个变化的分布式环境；任何一种格式都不可能完全满足不同团体的不同需要；

b)元数据首先是一种编码体系。元数据是用来描述数字化信息资源，特别是网络信息资源的编码体系，这导致了元数据和传统数据编码体系的根本区别；元数据的最为重要的特征和功能是为数字化信息资源建立一种机器可理解框架。

数据仓库需要借助元数据管理，这是因为数据仓库的数据加工复杂，用户访问方式复杂，以某银行的DW数据为例：上游系统60个，下游系统20多个，仓库内部的表多达12000多个，运行的ETL任务6000多，每个月都有新版本上线，需要维护的数据信息量众多，上下游系统多，变更频繁；维护周期长。此外，现有技术往往采用三范式建模，因此LDM的核心表会有大量的来源与目标，一旦做影响分析，结果就会扩散放大。最终导致分析结果无法使用。

发明内容

有鉴于此，本发明要解决的问题是提供一种基于元数据管理分析系统。

为解决上述技术问题，本发明采用的技术方案是：一种基于元数据管理分析系统，包括元模型管理模块，所述元模型管理模块配置含有源系统业务数据表的业务单元和映射管理单元，所述源系统业务数据表存储有若干增量字段，所述映射管理单元用于创建元数据的映射关系和代码匹配规则；

元数据采集模块，所述元数据采集模块用于采集元数据并将采集到的元数据传输至元数据处理模块，所述元数据采集模块包括模板管理单元、元数据库以及入库审核单元；所述模板管理单元用于提供导入导出元数据的模板，所述元数据库配置有若干元数据，所述入库审核单元用于对产生变动的元数据提供入库审核功能；以及

元数据处理模块，所述元数据处理模块用于将源系统业务数据表进行处理并整合到元数据库。

在本发明中，优选地，所述元数据处理模块包括数据抽取模块、数据清洗模块、数据库转换模块以及数据加载模块，所述数据抽取模块用于确定数据源及其来源归属，所述数据清洗模块用于将不完整数据、错误数据、重复数据进行处理剔除；所述数据库转换模块用于空值处理、数据拆分以及负责验证，所述数据加载模块用于将数据缓冲区的数据加载到数据库对应表中。

在本发明中，优选地，所述元模型管理模块还配置有元访问分析模块，所述元访问分析模块用于提供元数据相互关联度、元数据访问频度以及版本比对。

在本发明中，优选地，所述增量字段设置为时间字段或自增长字段，所述增量字段用于判断新增数据或修改数据。