[发明专利]一种兼容数据仓库和数据湖的数据存储平台构建方法

权利要求书

1.一种兼容数据仓库和数据湖的数据存储平台构建方法，其特征在于：包括以下步骤：

步骤1：采用列式存储以及行列混存对数据湖和数据仓库的数据进行存储；

步骤2：对数据仓库和数据湖的存储层进行整合，并采用分区的方式独立区隔数据湖和数据仓储的存储区域；

步骤3：构建统一的元数据管理层，通过本层实现对上层应用负载屏蔽底层存储实现细节，提供对上层应用负载的统一数据服务，进一步的可以面向用户提供全局统一的数据管理视图；

其中所述元数据管理层包括数据仓库、数据湖的应用负载层与数据平台层，且数据平台层包括数据层和元数据管理及数据管控层。

2.根据权利要求1所述的一种兼容数据仓库和数据湖的数据存储平台构建方法，其特征在于：所述数据层用于存储数仓和数据湖中真实的物理数据，且数据层包括：Raw，数据湖内的原始数据；Modeled，数据仓库内经过加工处理后的结果数据；Staging，数据仓库内进行数据加工处理时需要临时保存的暂存数据。

3.根据权利要求1所述的一种兼容数据仓库和数据湖的数据存储平台构建方法，其特征在于：所述元数据管理及数据管控层用于管理下层数据层内的全部数据，并通过元数据提供对上层的统一数据服务，且元数据管理及数据管控层包括：数据管控，面向下层数据层内数据的管控功能，可以实现数据分区，数据监控，数据统一管理等服务；元数据管理，元数据管理基于数据管控功能，提取和保存所有存储在数据层中数据的元数据，并通过Unitycatalog的形式向上层的应用负载提供统一的数据服务。

4.根据权利要求1所述的一种兼容数据仓库和数据湖的数据存储平台构建方法，其特征在于：所述步骤1中数据湖和数据仓库的数据存储与计算相互分离。