[发明专利]一种数据仓库设计方法

说明书

本发明特别涉及一种数据仓库设计方法。该数据仓库设计方法，先将不同类别的数据存储到不同的数据库分区，形成底层数据源；然后利用数据抽取工具将各类数据源数据完整的抽取到数据仓库统一存储空间，并实时抽取新增数据，实现数据仓库与数据库基本数据的初步汇总和实时同步；在数据仓库设计ODS层和DW层后，设计数据集市层，用于存储面向主题和数据分析应用的、高度汇总级别的数据；利用OLAP引擎多维分析数据库，将数据组织为多维的存储结构、面向数据分析应用的高性能支持环境，实现自定义报表和查询。该数据仓库设计方法，实现了数据源分层汇总，使海量数据实现了从无序到有序的管理，能够为上层应用提供更为高效的数据服务，更好的发挥数据价值。

技术领域

本发明涉及数据挖掘技术领域，特别涉及一种数据仓库设计方法。

背景技术

数据仓库(Data Warehouse，简称DW或DWH)，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。

数据仓库主要功能是将组织透过资讯系统经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，做有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。

为了进一步挖掘数据资源，获取高度汇总的数据供分析系统使用，本发明提出了一种数据仓库设计方法。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的数据仓库设计方法。

本发明是通过如下技术方案实现的：

一种数据仓库设计方法，其特征在于：包括以下步骤：

第一步，先将数据进行分类整理，然后将不同类别的数据存储到数据库中不同的分区，形成底层数据源；

第二步，利用数据抽取工具将各类数据源数据完整的抽取到数据仓库统一存储空间，并实时抽取新增数据，实现数据仓库与数据库基本数据的初步汇总和实时同步；

第三步，在数据仓库设计ODS(Operational Data Store，操作型数据存储)层和DW(Data Warehouse，数据仓库)层；

所述ODS层负责为数据源提供系统的、面向主题的、完整的当前级描述；

所述DW层用于存储所有历史级别的数据，为数据源提供系统的、面向主题的、完整的历史级描述；

第四步，设计数据集市层，用于存储面向主题和数据分析应用的、高度汇总级别的数据；

第五步，利用OLAP引擎多维分析数据库，利用多维数据库对查询性能的优势，将数据组织为多维的存储结构、面向数据分析应用的高性能支持环境，实现自定义报表和查询。

所述第二步中，利用Kettle将各类数据源数据完整的抽取到数据仓库统一存储空间，利用kafka实时抽取各类新增数据。

所述第三步中，数据仓库中的ODS层和DW层均采用3NF(第三格式)进行设计。

所述数据仓库是所有数据的集中备份存储平台，同时作为数据综合分析应用的输出基地，为数据集市层提供全局的、面向主题的，明细的、轻度汇总的，近期的(ODS层)以及历史的(DW层)数据输入。