[发明专利]一种可视化OLAP的应用实现方法及系统

摘要

本发明公开了一种可视化OLAP的应用实现方法及系统，该方法及系统将OLAP分析的业务数据存储于支持分布式、面向列的Hadoop集群，通过Hive和Impala支持的SQL查询引擎，实现在线分析平台与大数据存储平台的有效对接。该发明使存储容量增大，提高了存储扩展性和安全性，且有效地进行千亿乃至万亿数据级别的在线多维统计分析和机器学习。

主权项

一种可视化OLAP的应用实现方法，其特征在于，包括如下步骤：S1.通过ETL工具，将海量的关系型数据和数据文件进行高速传输和合并形成业务数据，将业务数据存储在支持分布式、列式存储的Hadoop集群中；S2.通过可视化定义工具在业务数据中定义维度和度量，并自动生成多维分析的MDX语言，同时使用可视化的分析器通过GUI执行已经定义的多维分析命令；S3.多维分析服务器接收提交的分析命令，使用Impala对提交的命令进行分析，分析以后将Hadoop中的数据抽取到内存中，进行分布式计算，最后将返回的结果生成用户自定义报表，多维分析处理过程为：首先多维分析服务器与Impala结合，通过hive2server JDBC驱动连接Impala服务，执行其SQL查询引擎访问存储在Hbase中的事实数据，其次使用Mondrian Server应用聚合策略，通过分布式的分组查询，将聚合数据读取到内存中形成缓存数据，最后通过可视化工具，对聚合后的缓存数据进行展示。