[发明专利]一种兼容数据仓库和数据湖的数据存储平台构建方法

说明书

本发明公开的属于数据处理技术领域，具体为一种兼容数据仓库和数据湖的数据存储平台构建方法，包括以下步骤：步骤1：采用列式存储以及行列混存对数据湖和数据仓库的数据进行存储；步骤2：对数据仓库和数据湖的存储层进行整合，并采用分区的方式独立区隔数据湖和数据仓储的存储区域；步骤3：构建统一的元数据管理层，通过本层实现对上层应用负载屏蔽底层存储实现细节，提供对上层应用负载的统一数据服务，本发明不仅可以保证数据湖和数据仓库的正常使用，还可以解决在两个产品之间存在的数据冗余问题并向用户提供全局统一的数据管理视图，进一步的还能够减少并简化了技术栈，减少整体的管理和运维成本减少数据冗余和存储成本。

技术领域

本发明涉及数据处理技术领域，具体为一种兼容数据仓库和数据湖的数据存储平台构建方法。

背景技术

现状：随着大数据时代的到来，越多越多的大数据产品出现，其中数据仓库和数据湖是两种比较有代表性的大数据产品为用户提供服务。

1.数据湖：数据湖是对各类未经处理的原始数据的存储，包括任意规模的结构化、半结构化和非结构化数据，需要支持对所有用户的便利访问。数据湖可以被用来当作数仓或其他大数据应用的数据来源。

2.数据仓库：数据仓库适用于作为一般分析的数据库选择，包括报表、数据大盘、交互式分析和其他高性能分析。数仓一般仅包含经过处理和精炼的数据。

问题：

因为两种产品的使用场景不同，数据湖存储未经加工的原始数据数据，包括结构化、半结构化和非结构化，数据仓库存储经过处理和精炼的数据。所以一般情况下会被当做两个彼此独立的产品为用户提供服务，数据湖和数据仓库分别管理各自内部的数据，这种现状所带来的问题主要包括两方面：

1.存在着大量的数据冗余，造成极大的存储成本浪费

企业中同时存在着大量的即需要保留原始数据，同时又要做经一处理和精炼的数据，那么这部分数据就需要被同时保存在数据湖和数据仓库中，造成存储成本浪费

2.无法面向用户提供全局统一的数据管理视图

这个问题比较容易理解，因为在两个产品之间存在着大量的相同数据，而且数据湖和数据仓库两个产品的数据目录是彼此独立的，这就造成了用户无法全局统一的对数据进行管理，无法看清全局数据全貌。

发明内容

本发明的目的在于提供一种兼容数据仓库和数据湖的数据存储平台构建方法，以解决上述背景技术中提出的存在着大量的数据冗余，造成极大的存储成本浪费、无法面向用户提供全局统一的数据管理视图的问题。

为实现上述目的，本发明提供如下技术方案：一种兼容数据仓库和数据湖的数据存储平台构建方法，包括以下步骤：

步骤1：采用列式存储以及行列混存对数据湖和数据仓库的数据进行存储；

步骤2：对数据仓库和数据湖的存储层进行整合，并采用分区的方式独立区隔数据湖和数据仓储的存储区域；

步骤3：构建统一的元数据管理层，通过本层实现对上层应用负载屏蔽底层存储实现细节，提供对上层应用负载的统一数据服务，进一步的可以面向用户提供全局统一的数据管理视图；

其中所述元数据管理层包括数据仓库、数据湖的应用负载层与数据平台层，且数据平台层包括数据层和元数据管理及数据管控层。

优选的，所述数据层用于存储数仓和数据湖中真实的物理数据，且数据层包括：Raw，数据湖内的原始数据；Modeled，数据仓库内经过加工处理后的结果数据；Staging，数据仓库内进行数据加工处理时需要临时保存的暂存数据。