[发明专利]生成多维分析Cube的方法和系统

说明书

技术领域

本发明涉及分布式计算，并且尤其涉及基于数据仓库生成多维分析Cube的方法和系统。

背景技术

数据仓库是一个作为决策支持系统和联机分析应用数据源的结构化数据环境。传统的数据仓库建设，基本分为3个部分组成：ETL(Extraction-Transformation-Loading，即数据提取、转换和加载)、数据仓库和BI工具(Business Intelligence Tool)。如图1所示，ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层(未示出)后进行清洗、转换、集成，最后加载到数据仓库中。数据仓库中的存储数据成为联机分析处理、数据挖掘的基础。BI工具实施地对数据仓库中的数据进行各种分析，并给出报告。在BI展现中，多维分析Cube是一种行之有效的也是广泛采用的多维分析工具，而且由于性能、权限、业务划分等原因，往往需要生成大量的多维分析Cube。

如图1所示，为了避免资源的冲突，现有技术中的数据仓库系统通常为上述的3个部分配置各自相对独立的硬件资源主机1-3，另外还设置了主机4用于响应和处理用户的访问以及Cube的使用。如此，每台数据仓库系统的主机相对独立，各负其责。

但是，现有的数据仓库系统的系统整体的资源利用率较低。由于数据仓库系统的特性，每一类型的任务都需要耗费相当的主机资源；并且在不同的时间段内，由于任务的不同，不同主机的资源使用率又完全不同。例如：完成ETL任务的主机1通常在晚上进行数据抽取和整理；数据库管理和查询主机2通常在需要进行数据整理和复杂的SQL语句查询的时候，资源使用率高；负责多维分析Cube生成的主机3只有在生成Cube的时候会占用全部的主机资源；负责处理用户访问和多维分析使用的主机4，在工作时间段上资源使用明显，而且为了性能考虑，必须留出充足的系统资源以相应用户的请求，而非工作时间段资源使用率较低。

生成大量的多维分析Cube需要耗费大量的资源，但是现有的数据仓库系统的各个主机资源的使用相对不均，使用率不高。因此，需要一种资源使用率高的生成多维分析Cube的方法和系统。

发明内容

根据本发明的一个目的，提供了一种基于数据仓库生成多维分析Cube的系统，所述系统包括第一主机和第二主机，其特征在于，

所述第一主机包括管理模块，所述管理模块包括资源获取模块和任务分配模块；

所述第一主机和第二主机各自包括工作模块；

其中，所述资源获取模块被配置成根据Cube基本信息获取Cube信息，以及根据第一主机和第二主机的基本资源信息获取第一主机和第二主机的资源信息，

所述任务分配模块被配置成基于所述Cube信息以及所述第一主机和第二主机的资源信息将Cube生成任务分配给所述第一主机或者第二主机，

所述工作模块用于生成Cube。

优选地，所述第二主机包括备份管理模块，所述备份管理模块被配置成在异常状态下代替管理模块。

优选地，所述系统还包括第一存储器，所述第一存储器是公共存储器，用于存储生成的Cube文件，所述第一存储器设置在所述第一主机或者第二主机中。

优选地，所述系统还包括第二存储器，所述第二存储器是公共存储器，用于存储未生成的Cube文件，所述第二存储器设置在所述第一主机或者第二主机中。

优选地，所述基本Cube信息包括Cube的分区模式、生成周期，数据周期、名称、生成该Cube的时间估算，最小CPU使用估算中的一个或多个。

优选地，所述第一主机和第二主机的基本资源信息包括CPU资源、内存资源、磁盘I/O、网路I/O中的一个或多个。

优选地，所述管理模块进一步包括日志回收模块，用于把分散在不同主机上的任务日志回收，进行统一管理。

根据本发明的另一个目的，提供了一种基于数据仓库生成多维分析Cube的方法，其特征在于，所述方法包括以下步骤：

在第一主机中设置管理模块，所述管理模块包括资源获取模块和任务分配模块；

在第一主机和第二主机中设置工作模块；

利用资源获取模块根据Cube基本信息获取Cube信息。

利用资源获取模块根据所述第一主机和第二主机的基本资源信息获取所述第一主机和第二主机的资源信息。

利用任务分配模块基于所述Cube信息以及所述第一主机和第二主机的资源信息分配Cube生成任务并将该任务发送至所述第一或第二主机。

利用工作模块生成Cube。