[发明专利]一种数据分维度分层次管理的方法及系统

说明书

技术领域

本发明涉及一种数据分维度分层次管理的方法及系统，属于计算机技术 领域。

背景技术

当前，信息技术和互联网技术的新发展，带来了数据的爆发式增长，数 据正在成为驱动经济增长和社会进步的重要基础和战略资源。不论任何规模 的企业，无不每时每刻都产生着大量的数据。随着企业信息化的发展，数据 的分析和统计成为了企业领导层决策的重要因素。由于企业的业务数据量的 迅猛增长，数据库存储的数据量成TB甚至PB级的数据规模，并且数据来源 也更加多元化，如何存储这些海量数据并进行快速精准的数据查询，是传统 的关系数据库系统无法全部解决的难题。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种，对企业 海量业务数据进行分维度分层次的管理，实现海量数据的收集、存储和快速 精准的数据查询，提高数据分析的效率，为企业的决策提供及时准确的数据 依据的数据分维度分层次管理的方法及系统。

本发明解决上述技术问题的技术方案如下：一种数据分维度分层次管理 的方法，包括以下步骤：

步骤1：采用至少一种收集方式收集原始数据；

步骤2：将收集到的原始数据存入基本表中，在基本表中对存入数据进 行维度拆分；

步骤3：将拆分后的原始数据根据维度分别存入多个维度表，并根据所 有维度表的外键和关键字建立事实表。

本发明的有益效果是：对海量数据进行分维度分层次的管理，实现海量 数据的收集、存储和快速精准的数据查询，提高数据分析的效率，为企业的 决策提供及时准确的数据依据。每一个事实表都有一组维度表通过关键字与 之关联；事实表中存储主要数据,只需查询事实表就可以查询到主要信息， 而无需将多个庞大的基本表进行联表查询，同时维度表一般较小,与事实表 连接时速度很快，并不影响查询效率。通过这种数据存储结构，可以极大的 提高数据查询效率。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，还包括步骤4：将每个维度表中数据根据不同类别创建视图， 得到数据立方体；所有维度表对应多维数据立方体。

采用上述进一步方案的有益效果是，事实表和维度表中存储了所有数据 各种维度的详细信息，但在根据用户需求做数据分析并展示数据时，往往只 需要部分的数据，通过建立多维度数据立方体，可以方便定制数据，聚焦特 定的数据。在实际应用中可以任意抽取多维数据立方体中的数据用于Web应 用、手机APP应用、微信应用等各种应用的数据分析展示；从数据安全性角 度来看，多维度数据立方体是物理上并不存在的虚拟数据集，存储动态的数 据集合，即便用户操作数据立方体也无法更改和删除事实表和维度表中的数 据，保障了原始数据的安全性。

进一步，所述步骤1具体包括以下步骤：

步骤1.1：确定数据来源，根据数据来源和数据种类选用不同的收集方 式和收集工具；

步骤1.2：采用选用的收集方式和收集工具收集数据。

进一步，所述数据来源包括业务系统数据、电子表格、系统运行日志文 件、移动终端数据、数据供应商和互联网数据等。

进一步，所述数据种类包括结构化数据、半结构化数据和非结构化数据。

进一步，所述收集方式包括手动收集和自动收集。

采用上述进一步方案的有益效果是，手动收集有Web应用上传、远程文 件传输、云存储等方式。自动收集主要采用有ETL工具集收集，运用ETL工 具从数据源抽取出所需的数据，进行数据转换、清洗，并加载数据到目标数 据存储区。

进一步，所述步骤2具体包括以下步骤：

步骤2.1：将收集到的原始数据存入基本表中；

步骤2.2：对基本表中的原始数据进行预处理、分析和维度拆分，将原 始数据按维度分组。

本发明解决上述技术问题的技术方案如下：一种数据分维度分层次管理 的系统，包括数据收集模块、维度拆分模块和分表存储模块；

所述数据收集模块用于采用至少一种收集方式收集原始数据；

所述维度拆分模块用于将收集到的原始数据存入基本表中，在基本表中 对存入数据进行维度拆分；

所述分表存储模块用于将拆分后的原始数据根据维度分别存入多个维 度表，并根据所有维度表的外键和关键字建立事实表。