[发明专利]数据仓库和数据集市的管理方法及装置

权利要求书

1.一种数据仓库和数据集市的管理方法，其特征在于，包括：

将数据源的生产数据抽取加工到Hadoop集群环境，在数据仓库集群中将数据按照第一数据存储架构存储；

在所述Hadoop集群环境中，根据业务划分或者组织架构，创建相应的Hadoop集群用户；

每个Hadoop集群用户下在数据集市集群上按照第二数据存储架构加工自身的数据模型，所述数据集市集群的数据来源于所述数据仓库集群，数据模型所描述的内容有三部分：数据结构、数据操作和数据约束，

所述第二数据存储架构包括多个数据层次，所述多个数据层次包括基础数据层、通用数据层、聚合数据层、应用数据层、维度层、集市维度层、临时层和开发层。

2.根据权利要求1所述的数据仓库和数据集市的管理方法，其特征在于，所述第一数据存储架构包括多个数据层次，所述多个数据层次包括数据缓冲层、基础数据层、通用数据层、聚合数据层、应用数据层、维度层、临时层和开发层。

3.根据权利要求1所述的数据仓库和数据集市的管理方法，其特征在于，每一个数据层次对应Hive的一个库，每个库在Hadoop HDFS上均对应一个分布式文件目录。

4.根据权利要求3所述的数据仓库和数据集市的管理方法，其特征在于，所述数据仓库集群与所述数据集市集群的HDFS存储架构包括HDFS命名空间、Hadoop集群用户、Hive库和模型表名；其中，

所述HDFS命名空间用于实现对不同业务分类的存储划分；

所述Hadoop集群用户用于实现管理HDFS目录权限；

对不同的所述Hadoop集群用户部署不同的Hive库，每个Hive库均会指向一个HDFS文件目录来保存其库下每个表的数据文件；

所述模型表名对应的模型表是Hive库中实现统计分析的模型，其在创建时数据会存储在对应的HDFS存储目录下。

5.根据权利要求4所述的数据仓库和数据集市的管理方法，其特征在在于，所述方法还包括：对各数据层次的模型表名实现规范管理。

6.根据权利要求5所述的数据仓库和数据集市的管理方法，其特征在于，所述对各数据层次的模型表名实现规范管理包括：

缓存数据层表名为BDM加源库名称加源表名；

基础数据层表名为FDM加源库名称加源表名加加载策略；

通用数据层表名为GDM加主题前缀加主体；

聚合数据层表名为ADM加主题英文简称加主体加后缀；

应用数据层表名为APP加主题英文简称加主体加后缀；

临时层表名为TMP加业务含义的表名；

维度层表名为DIM加业务含义的表名；

开发层表名为DEV加业务含义的表名；

集市维度层表名为DIM加业务含义的表名。

7.根据权利要求6所述的数据仓库和数据集市的管理方法，其特征在于，所述方法还包括：在所述数据集市集群中的子公司、业务条线或者部门能够创建自己独有的数据层次来实现特殊数据的存储。

8.一种数据仓库和数据集市的管理装置，其特征在于，包括：

数据仓库数据存储模块，用于将数据源的生产数据抽取加工到Hadoop集群环境，在数据仓库集群中将数据按照第一数据存储架构存储；

集群用户创建模块，用于在所述Hadoop集群环境中，根据业务划分或者组织架构，创建相应的Hadoop集群用户；

数据集群数据存储模块，用于每个Hadoop集群用户下在数据集市集群上按照第二数据存储架构加工自身的数据模型，所述数据集市集群的数据来源于所述数据仓库集群，数据模型所描述的内容有三部分：数据结构、数据操作和数据约束，

所述第二数据存储架构包括多个数据层次，所述多个数据层次包括基础数据层、通用数据层、聚合数据层、应用数据层、维度层、集市维度层、临时层和开发层。