[发明专利]数据仓库和数据集市的管理方法及装置

说明书

本公开涉及一种数据仓库和数据集市的管理方法及装置。该数据仓库和数据集市的管理方法包括：将数据源的生产数据抽取加工到Hadoop集群环境，在数据仓库集群中将数据按照第一数据存储架构存储；在所述Hadoop集群环境中，根据业务划分或者组织架构，创建相应的Hadoop集群用户；每个Hadoop集群用户下在数据集市集群上按照第二数据存储架构加工自身的数据模型，所述数据集市集群的数据来源于所述数据仓库集群。

技术领域

本公开涉及数据处理相关技术领域，尤其涉及一种数据仓库和数据集市的管理方法及装置、计算机可读介质、电子设备。

背景技术

当前随着各行业业务创新与发展，尤其是互联网、金融、通信等行业，其数据类型、数据量、计算量出现爆发式增长。大数据与云服务技术此时应运而生。在大数据环境下，经常采用Hadoop与Yarn结合来实现集群搭建以及集群资源控制，在此基础上实现企业数据仓库和数据集市，以支持企业决策支持和系统生产。

传统行业或部分互联网、金融行业采用关系数据库或大数据集群实现EDW(Enterprise Data Warehouse，数据仓库)数据存储。但是采用关系数据库的方法无法达到大数据量、高并发的高效性能。而采用大数据集群的方法其存储数据架构往往采用传统BI(Business Intelligence)建设时的形式，即只创建一个集群业务系统用户或者集群用户，通过表名称来区分不同的数据层级/数据层次架构或无规则存储数据。此种形式在大数据集群环境下混乱且不利于分布式数据管理，已经达不到业务发展和数据管理的需要。现有技术做数据仓库和数据集市的时候，模型和存储没有统一的管理方法，也没有实现数据仓库和数据集市的独立应用。

即现有技术存在以下缺点：

1)不利于数据权限管控；

2)不利于业务拆分或扩展；

3)不利于集群数据迁移；

4)一个业务用户场景下并发访问对集群压力大。

因此，需要一种新的数据仓库和数据集市的管理方法及装置。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据仓库和数据集市的管理方法及装置、计算机可读介质、电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种数据仓库和数据集市的管理方法，包括：将数据源的生产数据抽取加工到Hadoop集群环境，在数据仓库集群中将数据按照第一数据存储架构存储；在所述Hadoop集群环境中，根据业务划分或者组织架构，创建相应的Hadoop集群用户；每个Hadoop集群用户下在数据集市集群上按照第二数据存储架构加工自身的数据模型，所述数据集市集群的数据来源于所述数据仓库集群。

在本公开的一种示例性实施例中，所述第一数据存储架构包括多个数据层次，所述多个数据层次包括数据缓冲层、基础数据层、通用数据层、聚合数据层、应用数据层、维度层、临时层和开发层。

在本公开的一种示例性实施例中，所述第二数据存储架构包括多个数据层次，所述多个数据层次包括基础数据层、通用数据层、聚合数据层、应用数据层、维度层、集市维度层、临时层和开发层。

在本公开的一种示例性实施例中，每一个数据层次对应Hive的一个库，每个库在Hadoop HDFS上均对应一个分布式文件目录。