[发明专利]一种基于大数据的联机分析处理系统和方法

摘要

本发明公开了一种基于大数据的联机分析处理系统和方法，该系统能够在Hadoop环境下针对不同规模级别数据集进行快速多维查询分析。通过查询规划评估选择的查询计划包括支持Hive的MDX查询和基于Hbase预计算缓存机制的多维查询。实现可扩展集群节点上支持Hive数据仓库的MDX查询，基于Hbase预计算缓存机制的多维查询优化，满足不同规模级别数据集的低延迟多维查询需求，解决了单一数据源背景下不同OLAP数据组织模型的OLAP多维查询。针对大规模数据集上的Hive多维查询性能优化问题，提出一种构建基于Hbase缓存的分段逐层降维聚合算法。该算法把解决大规模数据多维查询计算的MOLAP带入了大数据OLAP系统中，极大增强了大数据背景下，不同规模级别数据多维查询的可扩展性和高效性。

主权项

1.一种基于大数据的联机分析处理系统，其特征在于：该系统包括用户接口模块、查询规划模块、MDX查询解释模块、HQL查询解释模块、元数据管理模块、MDX聚集缓存模块、基于Hbase的Cube构建缓存模块和数据存储模块；所述的用户接口模块接受来自用户针对不同规模数据集上的MDX和HQL查询请求，供查询规划模块调用；所述的MDX查询解释模块负责对MDX进行解释和执行查询处理，完成整个解释和查询计算，实现读取维度成员值和单元格值的联机分析处理即OLAP数据访问功能；所述的HQL查询解释模块负责HQL查询请求解释，形成相应的查询解释语法树，对查询解释语法树所有节点进行相应的执行规则定义，并生成针对一个查询请求相应的查询模型；根据查询模型判断是否存在请求对应的形式化Cube多维模型；如果存在与查询匹配的Cube，该模块会遍历和选择以键值对形式保存在Hbase中的Cube进行查询，如果Cube不存在，则基于Hbase的Cube构建缓存模块会向数据存储模块发送细节数据请求，进行Cube构建；所述的查询规划模块进行查询计划分析、执行处理；所述的元数据管理模块负责对维度表数据、Cube元数据和Cube中间结果这些元数据信息进行规范管理；所述的MDX聚集缓存模块定义多个由内存中一组计算值构成的单元格值，主要负责为查询解释模块逐条或者批量地提供单元格值；所述的基于Hbase的Cube构建缓存模块负责大规模数据集上的Hive多维查询性能优化，通过遍历子Cube生成树来创建一个完全Cube，将预先计算完成Cube的计算结果保存到Hbase当中，以备离线处理所需查询调用从而达到加快查询速度的目的；所述的数据存储模块负责为MDX查询解释的单元格值计算提供维度的成员和细节数据，将事实表、维度表和单元格值这些数据分布式存储在不同的可扩展集群节点上。