[发明专利]一种可视化OLAP的应用实现方法及系统

说明书

技术领域

本发明涉及大数据环境下的在线分析性处理的方法及系统，具体是一种可以直接对海量明细数据进行建模，并实时分析的方法及系统。

背景技术

OLAP即联机分析处理,联机分析处理（OLAP）系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。近年来，OLAP已成为处理数据仓库和商业智能使用的多维数据的流行方法，但是OLAP还存在如下问题：

OLAP分析需要进行大量的数据分组和表间关联，这些虽然是传统关系型数据库的强项，但是在大数据环境下，在线分析的实时性能将是传统数据库OLAP的瓶颈。

OLAP存在的最大问题还有业务灵活多变，必然导致业务模型随之经常发生变化，而业务维度和度量一旦发生变化，技术人员需要把整个多维立方体（Cube）重新定义并重新生成，业务人员只能在此Cube上进行多维分析，这样就限制了业务人员快速改变问题分析的角度，从而使所谓的BI系统成为死板的日常报表系统。

面对实时性能瓶颈问题，虽然可以使用特定的针对BI优化的数据库，比如采用了列存储或混合存储、压缩、延迟加载、对存储数据块预统计、分片索引等技术。但还是无法解决TB级数据量的在线多维分析。

发明内容

本发明的目的在于提供一种基于Hadoop数据存储平台的可视化OLAP的应用实现方法及系统，将OLAP分析的数据以结构化形式存储于Hadoop集群，使其存储容量增大，提高存储扩展性和安全性。

为实现上述目的，本发明采用以下技术方案：

一种可视化OLAP的应用实现方法，包括如下步骤：

S1.通过ETL工具，将海量的关系型数据和数据文件进行高速传输和合并形成业务数据，将业务数据存储在支持分布式、列式存储的Hadoop集群中；

S2.通过可视化定义工具在业务数据中定义维度和度量，并自动生成多维分析的MDX语言，同时使用可视化的分析器通过GUI执行已经定义的多维分析命令；

S3.多维分析服务器接收提交的分析命令，使用Impala对提交的命令进行分析，分析以后将Hadoop中的数据抽取到内存中，进行分布式计算，最后将返回的结果生成用户自定义报表。

其中，步骤S1中所述的ETL工具为Storm、Kafka、Flume、Kettle、Sqoop中的一种或几种。

其中，步骤S1中所述的业务数据存储在Hadoop的Hdfs和Hbase中。

其中，步骤S3中多维分析处理过程为：首先多维分析服务器与Impala结合，通过hive2server JDBC驱动连接Impala服务，执行其SQL查询引擎访问存储在Hbase中的事实数据，其次使用Mondrian Server应用聚合策略，通过分布式的分组查询，将聚合数据读取到内存中形成缓存数据，最后通过可视化工具，对聚合后的缓存数据进行展示。

优选地，所述的可视化工具为Pivot表，饼图，线状图,条形图和分析图中的一种或几种。

本发明还公开了一种可视化OLAP的应用实现系统，包括模式管理器，带可视化工具的表现单元，解析、校验、执行MDX查询的计算单元，维护创建聚合缓存的聚合单元，及存储单元，所述的表现单元置于Tomcat服务器上，所述的模式管理器、聚合单元和计算单元设于同一台包含核心框架的服务器上，所述的存储单元放置在Hadoop集群服务器上，通过远程Hive和Impala的Java API连接访问。

其中，所述的计算单元包括集成连接的维度度量定义模块，多维分析执行模块及可视化分析查询器。

采用以上技术方案后，本发明具有以下有益效果：

1.解决了在线分析的性能问题，利用分布式强大的并行化处理能力，通过Hive和Impala进行数据交互，有效解决在线分析性处理在关系型数据库的性能短板。可有效进行千亿乃至万亿数据级别的在线多维统计分析和机器学习。

2.解决了分析维度难以改变的问题。由于采集来的数据本身就是包含大量冗余信息的，利用Hadoop中数据存储结构的特征，可以将大量冗余的维度信息整合到事实表中，这样可以在冗余维度下灵活地改变问题分析的角度，有效满足OLAP分析中的维度不断变化的需求。