[发明专利]一种数据源无关的数据全生命周期管理平台及方法

权利要求书

1.一种数据源无关的数据全生命周期管理平台，其特征在于，包括元数据采集层、元数据存储层、数据服务层、功能应用层和基础管理层，其中：

元数据采集层，用于从数据源中进行所有元数据的采集；

元数据存储层，用于将元数据采集层采集的所有元数据进行统一集中的存储和管理；

数据服务层，用于对元数据存储层提供数据服务、模型服务、接口服务和展现分析过程中的计算服务，从而将元数据发送至下述功能应用层；

功能应用层，用于提供生命周期管理、生命周期分析、元数据管理、元模型管理、元数据采集管理、元数据标准化管理；

基础管理层，用于平台的授权管理、日志分析、菜单管理、用户管理、安全管理和运维监控。

2.根据权利要求1所述的一种数据源无关的数据全生命周期管理平台，其特征在于，所述元数据采集层中，对元数据进行采集前，提供采集数据源的配置、采集规则的配置、采集方案配置、采集模型匹配配置、采集任务调度管理、采集监控管理和异常日志的查询分析，然后再进行元数据采集。

3.根据权利要求1所述的一种数据源无关的数据全生命周期管理平台，其特征在于，所述元数据存储层通过配置以下步骤实现元数据导入到数据库中：元数据存储模型的导入、存储目标库的配置、数据模型的管理、数据备份、数据授权、数据审计，该元数据存储层中配置的数据库包括关系型数据库、大数据的Hive或MPP数据库，所述关系型数据库包括oaracle、Mysql、Sysbase、DB2。

4.根据权利要求3所述的一种数据源无关的数据全生命周期管理平台，其特征在于，所述数据服务层提供的服务实现基于技术协议和数据协议，其中技术协议包括HTTP、REST、API、Socket，数据协议包括Json、XML。

5.根据权利要求1所述的一种数据源无关的数据全生命周期管理平台，其特征在于，所述功能应用层中，元模型管理是指元模型查询、元模型增加、元模型修改、元模型删除、添加关系、权限设置；元数据采集管理是指元数据采集过程的配置、调度、监控和查询功能；元数据标准化管理是指标准化规则配置、标准化元数据质量、标准化数据字典、标准化标准策略配置、标准化元数据转换、标准化元数据清洗、标准化元数据加载；元数据管理是指元数据基本信息、属性、被依赖关系、依赖关系、组合关系的查询修改和删除操作；生命周期管理是指按照时间、生命周期环节对数据生命周期进行管理、查询、分析，提供数据全生命周期地图；生命周期分析是指按照数据生命周期脉络关系进行查询分析，包括影响分析、血缘分析、热度分析、基于生命周期的价值分析。

6.一种数据源无关的数据全生命周期管理方法，其特征在于，基于上述平台，其实现过程为：

一、首先通过元数据采集层从数据源中采集所有元数据；

二、然后将采集的所有元数据通过元数据存储层进行统一集中的存储和管理；

三、数据服务层通过对元数据存储层提供数据服务、模型服务、接口服务和展现分析过程中的计算服务，将元数据发送至功能应用层；

四、功能应用层完成元数据的数据全生命周期管理，该数据全生命周期管理包括生命周期管理、生命周期分析、元数据管理、元模型管理、元数据采集管理、元数据标准化管理。

7.根据权利要求6所述的一种数据源无关的数据全生命周期管理方法，其特征在于，所述步骤一中，元数据采集层采集元数据的过程为：

首先进行采集数据源的配置、采集规则的配置、采集方案配置、采集模型匹配配置，确定行采集数据源、采集规则、采集方案及匹配的采集模型；

然后进行元数据采集，并在采集过程中完成采集任务调度管理、采集监控管理和异常日志的查询分析；

最后将采集的元数据发送至元数据存储层中。

8.根据权利要求6所述的一种数据源无关的数据全生命周期管理方法，其特征在于，所述步骤二中，元数据存储层通过以下步骤将元数据导入到数据库中：元数据存储模型的导入、存储目标库的配置、数据模型的管理、数据备份、数据授权、数据审计，并在导入到数据库后通过数据服务层将数据发送至功能应用层。