[发明专利]一种数据源无关的数据全生命周期管理平台及方法

说明书

本发明公开了一种数据源无关的数据全生命周期管理平台及方法，包括元数据采集层，从数据源中进行所有元数据的采集；元数据存储层，将采集的元数据进行统一集中的存储和管理；数据服务层，提供数据服务、模型服务、接口服务和展现分析过程中的计算服务；功能应用层，提供生命周期管理、生命周期分析、元数据管理、元模型管理、元数据采集管理、元数据标准化管理；基础管理层，用于平台的授权管理、日志分析、菜单管理、用户管理、安全管理和运维监控。本发明的一种数据源无关的数据全生命周期管理平台及方法与现有技术相比，实现数据全生命周期的跟踪管理，实现海量大数据在数据仓库中全生命周期的管理和流程化的可视地图展现。

技术领域

本发明涉及大数据技术领域，具体地说是一种实用性强的数据源无关的数据全生命周期管理平台及方法。

背景技术

近年来，随着全球信息化的飞速发展，在社会生活各个方面不断产生着海量的数据信息，人类已经进入大数据和云计算时代。“大数据”如浪潮一般席卷全球，不仅在信息技术行业备受瞩目，更成为科研、商业、政府运作方式乃至人类思维方式转变的一个热点。

大数据背景下，数据更加的多样、更加的复杂、量更足，数据管理平台的数据逐渐增多导致数据关系错综复杂，脉络关系混乱不清，数据质量参差不齐，严重影响了数据效用的发挥，如何能够利用大数据技术处理好，这是所有大数据应用者最最期盼的改变，也是大数据平台建设者最有挑战的难题。因此，需以大数技术为基础，以数据生命周期理论为方法，分析数据管理平台中数据的分类机制，梳理数据脉络关系，做好数据生命周期维护，提高数据资源使用效率，发挥大数据平台中数据价值。迫切需要一种数据源无关的数据生命周期管理方法在数据中心管理平台的落地，实现对数据中心平台全生命周期的数据管理。基于以上原因，本发明提出了一种数据源无关的数据全生命周期管理方法，它是一种基于数据全生命周期的数据管理手段和策略。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强的数据源无关的数据全生命周期管理平台及方法。

一种数据源无关的数据全生命周期管理平台，包括元数据采集层、元数据存储层、数据服务层、功能应用层和基础管理层，其中：

元数据采集层，用于从数据源中进行所有元数据的采集；

元数据存储层，用于将元数据采集层采集的所有元数据进行统一集中的存储和管理；

数据服务层，用于对元数据存储层提供数据服务、模型服务、接口服务和展现分析过程中的计算服务，从而将元数据发送至下述功能应用层；

功能应用层，用于提供生命周期管理、生命周期分析、元数据管理、元模型管理、元数据采集管理、元数据标准化管理；

基础管理层，用于平台的授权管理、日志分析、菜单管理、用户管理、安全管理和运维监控。

所述元数据采集层中，对元数据进行采集前，提供采集数据源的配置、采集规则的配置、采集方案配置、采集模型匹配配置、采集任务调度管理、采集监控管理和异常日志的查询分析，然后再进行元数据采集。

所述元数据存储层通过配置以下步骤实现元数据导入到数据库中：元数据存储模型的导入、存储目标库的配置、数据模型的管理、数据备份、数据授权、数据审计，该元数据存储层中配置的数据库包括关系型数据库、大数据的Hive或MPP数据库，所述关系型数据库包括oaracle、Mysql、Sysbase、DB2。

所述数据服务层提供的服务实现基于技术协议和数据协议，其中技术协议包括HTTP、REST、API、Socket，数据协议包括Json、XML。