[发明专利]基于关系型联机分析处理的智能数据聚集方法及其系统

说明书

技术领域

本发明涉及一种智能数据处理方法，更具体的说，涉及一种基于关系型连接分析处理的智能数据处理方法。

背景技术

数据仓库系统中，查询速度是一个很棘手的问题，目前对于大数据量的事实表查询，查询的速度非常的慢。特别是在关系型联机分析处理（ROLAP）中的查询，如果要想提高查询的速度，就必须先根据业务需求把聚集表建立起来。但往往企业的业务分析是很复杂的，可能随时都会根据当前的状况改变查询的方式，粒度，维度等。这就给提前建立聚集表带来了难度，这时如果没有聚集表，就会去查询事实表，但事实表往往非常大，查询起来非常的慢。关系型联机分析处理（ROLAP）在数据分析中是一种很常用的方法，他的优点是存储空间小，但查询效率低，在建立聚集的维护方面，需要大量的人力资源去做维护。而基于多维的联机分析(Multidimension OLAP ，MOLAP)在数据分析中查询效率较高，但需求提前做聚集，并需要较大空间。

发明内容

本发明所要解决的技术问题是，克服现有技术的缺点，提供一种查询效率高、占用空间小并且节省人力成本的基于关系型联机分析处理的智能数据聚集方法。

本发明的另一目的是，提供能够实现本方法的基于关系型联机分析处理的智能数据聚集系统。

为了解决以上技术问题，本发明提供一种基于关系型联机分析处理的智能数据聚集方法，按如下步骤进行：

（1）建立聚集表，并建立聚集表与维度表和事实表的关系；

   （2）分析聚集表与维度表和事实表的关系，生成数据提取、转化和加载的数据处理模块；

（3）数据处理模块在数据库中定时启动，将事实表中的数据定时增加到聚集表中。

（4）系统查询数据时，根据匹配聚集知识库中的信息的情况，判断查询的是聚集表还是事实表。

本发明进一步限定的技术方案是：步骤（1）中，建立聚集表的方法为：

(Ⅰ)获得查询语句的查询频度、查询所用的时间或者报表模型的查询频度、查询所用的时间；

(Ⅱ)根据步骤(Ⅰ)中的数据，找到查询频度较大的和查询时间较大的查询语句或者报表模型；

(Ⅲ)分析获得的查询语句的维度、测度和粒度；如果是报表模型,则需要把模型转换成查询语句形式。

(Ⅳ)根据分析出查询语句的特点，包含的维度、测度和粒度,在数据仓库中创建具有最优查询时间和粒度的聚集表。

进一步的：所述步骤（1）中，还建立了聚集管理表、维度字典表和测度字典表，所述维度字典表和测度字典表通过外键与聚集管理表相关联，用于根据聚集管理表的权重去寻找需要查询的聚集表。

进一步的：步骤（4）中，匹配聚集知识库中的信息的方法为：根据系统查询时传进来的信息，先在维度字典表和测度字典表中找到相应的编码，再判断聚集表中是否有匹配信息且是否已经建立了聚集表，如果有匹配信息，则视为找到聚集表，则查询聚集表；否则，查询事实表。

进一步的：步骤（4）中，系统查询数据时的步骤为：

（a）根据前台的查询请求的维度与测度查询聚集管理表，如果有匹配数据，执行步骤（b），如果无匹配数据，执行步骤（c）；

（b）返回相应聚集表名称，查询语句根据返回表名直接对数据库查询，查询结果在界面展示；

（c）执行步骤（b）后，对此聚集表在聚集管理表中出现的次数进行判断，如果等于0，执行步骤（d），如果大于0小于阀值，执行步骤（e），如果大于阀值执行步骤（f）；

（d）将此聚集表插入聚集管理表中，查询事实表，给界面返回数据；

（e）查询聚集管理表，给界面返回数据，并更新聚集管理表中此聚集表出现的次数；

（f）建立相应聚集表并更改聚集管理表中此聚集表的状态后，返回界面信息询问是否查询事实表，如果是，则查询事实表给界面返回数据，如果否，则直接返回界面。

同时，本发明还公布了基于关系型联机分析处理的智能数据聚集系统，所述系统包括：

事实表模块：用于存储实际的明细数据；

聚集表模块：用于存储事实表数据的汇总数据；

维度表模块：用于存储聚集表的相关维度；

数据处理模块：用于将事实表中的数据定时增加到聚集表中；

定时器模块：用于定时开启数据处理模块。