[发明专利]一种数据处理方法、装置以及OLAP系统

说明书

本发明实施例公开了一种数据处理方法、装置以及OLAP系统，OLAP系统包括内存计算组件和分布式存储组件；其中方法包括：获取用户查询请求，并提取用户查询请求中的查询参数，并按照预设格式将查询参数转换为目标查询参数，并将目标查询参数传输至内存计算组件；控制内存计算组件在分布式存储组件中查找出与目标查询参数对应的目标存储数据；控制内存计算组件对目标存储数据进行统计分析，以得到查询结果数据，并显示查询结果数据；其中，分布式存储组件是用于存储多个存储数据的组件，多个存储数据包括目标存储数据。采用本发明，可提升OLAP系统的查询速度，且更易于扩展。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置以及OLAP系统。

背景技术

OLAP(Online Analytical Processing，联机分析处理)系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且将查询结果提供给决策人员，以便他们准确掌握企业的经营状况，了解对象的需求，制定正确的方案。

目前通常是使用infobright或Kylin(麒麟)来搭建OLAP系统。其中，使用Infobright来搭建OLAP系统的缺点是不能支持大数据量，且当数据量大时，查询速度很慢，并且不是分布式存储，扩展不方便。其中，在基于Kylin的OLAP系统中，使用的是Hive(基于Hadoop的一个数据仓库工具)来查询hbase(分布式的、面向列的开源数据库)中数据，且需要跑mapreduce(编程模型)任务，从而导致查询速度较慢。由此可见，目前的OLAP系统在查询速度和扩展方面依然存在较多缺陷。

发明内容

本发明实施例提供一种数据处理方法、装置以及OLAP系统，可提升OLAP系统的查询速度，且更易于扩展。

本发明实施例提供了一种基于OLAP系统的数据处理方法，所述OLAP系统包括内存计算组件和分布式存储组件；所述方法包括：

获取用户查询请求，并提取所述用户查询请求中的查询参数，并按照预设格式将所述查询参数转换为目标查询参数，并将所述目标查询参数传输至所述内存计算组件；

控制所述内存计算组件在所述分布式存储组件中查找出与所述目标查询参数对应的目标存储数据；

控制所述内存计算组件对所述目标存储数据进行统计分析，以得到查询结果数据，并显示所述查询结果数据；

其中，所述分布式存储组件是用于存储多个存储数据的组件，所述多个存储数据包括所述目标存储数据。

相应地，本发明实施例还提供了一种基于OLAP系统的数据处理装置，所述OLAP系统包括内存计算组件和分布式存储组件；所述装置包括：

获取转换模块，用于获取用户查询请求，并提取所述用户查询请求中的查询参数，并按照预设格式将所述查询参数转换为目标查询参数，并将所述目标查询参数传输至所述内存计算组件；

第一控制模块，用于控制所述内存计算组件在所述分布式存储组件中查找出与所述目标查询参数对应的目标存储数据；

第一控制模块，还用于控制所述内存计算组件对所述目标存储数据进行统计分析，以得到查询结果数据，并显示所述查询结果数据；

其中，所述分布式存储组件是用于存储多个存储数据的组件，所述多个存储数据包括所述目标存储数据。

相应地，本发明实施例还提供了一种OLAP系统，包括：界面交互组件、格式转换引擎、内存计算组件以及分布式存储组件；

所述界面交互组件界面，用于获取用户查询请求并提取所述用户查询请求中的查询参数，以将所述查询参数传输至格式转换引擎；