[实用新型]一种基于可扩展节点集群的大数据分析处理系统

说明书

本实用新型公开了一种基于可扩展节点集群的大数据分析系统，其特征在于，其包括OLAP数据库层、OLAP服务器层和应用层，所述的OLAP数据库层采用可扩展节点集群的分布式数据库集群，按照维表和事实表方式组织数据；所述的OLAP服务器层将来自OLAP数据库层的底层数据定义为数据立方体，数据立方体通过OLAP多维引擎与应用层交互；所述的应用层可与OLAP服务器层交互，应用层将用户查询请求发送给OLAP服务器层，OLAP服务器层获取并解析用户查询请求，然后将查询结果返回给应用层。

技术领域

本实用新型涉及数据分析领域，具体为一种基于可扩展节点集群的大数据分析处理系统。

背景技术

企业大数据的特点是数据规模巨大、数据量增长迅速，这使得数据的存储、处理和分析面临严峻挑战。解决容量和性能瓶颈的方法之一就是传统的scale-up模式，即升级数据库服务器的内存、CPU、磁盘，将SATA盘换成SSD盘等方式，但是服务器条件的改善并没有换来性能的线性增长。反观分布式数据库的scale-out方式，通过分布式处理方式，把数据分散到分布式系统的各个节点上并行处理，其扩展性更强，性价比也更高。

SMP架构的所有资源都是共享的，这导致了其扩展能力十分有限，随着CPU数量的增加，内存访问冲突也大量增加，使CPU性能大幅度降低，因此不适用于系统的扩展。

Greenplum作为一种分布式关系型数据库集群，自2005年发布以来，受到了广泛关注。特别是2015年开源之后，其开源社区在国内外拥有了很高的知名度。Greenplum采用了MPP架构，系统的可伸缩性和容错性较好，包括阿里巴巴、中信银行在内的许多知名企业都选择了部署Greenplum系统。Greenplum数据库被认为是业界最高性价比的数据仓库解决方案。

近年来，OLAP技术开始成为数据库研究领域的热点，它最初由IBM公司的E.F.Codd于1993年提出。OLAP建立在数据仓库的基础之上，用来实现数据的多维分析，满足了企业的实际需求，为企业决策提供了支撑。

有关OLAP的解决方案，目前比较流行的主要有基于SAS的OLAP系统、基于Oracle的OLAP系统和基于Microsoft的OLAP系统等。虽然国外的这些产品比较成熟，但由于习惯、语言和价格等因素的影响，不一定适用于国内的企业。一个好的OLAP分析系统必须具有足够的可扩展性和通用性，它应该可以方便地与各类大型数据仓库系统集成，而不是依赖于某个具体的DBMS，同时对客户端的第三方软件尤其是决策支持软件提供友好的接口。

在OLAP数年的发展过程中，遇到了一些阻碍：传统的OLAP技术，前端查询默认标准是MDX，不够普及和易用。OLAP软件在使用前需设计好模型，在此相关关系的数据范围内进行操作，这不足以应对业务需求的变换，可用性不高。OLAP可视化能力较弱，不支持SQL查询。

针对以上问题，OLAP出现了许多新的技术实现，例如可视化OLAP、大数据OLAP和办公OLAP技术。遵从OLAP分析的三个原则：多维、灵活交互和高速响应。如今，OLAP已成为商业智能领域决策支持方面非常重要的工具。国内外对OLAP系统方面的研究也越来越多，成果包括业界著名的开源OLAP引擎Mondrain、多维分析展示平台Saiku等。当前流行的OLAP分析工具有很多，但也存在一些缺点，例如价格昂贵，企业的安全性得不到保障等。

实用新型内容

1．要解决的技术问题

针对现有技术中存在的问题，本实用新型的目的在于提供一种基于可扩展节点集群的大数据分析处理系统，根据用户的数据分析需求，设计出满足商业智能（BI）领域需要的OLAP分析系统。

2．技术方案

为解决上述问题，本实用新型采用如下的技术方案。

一种基于可扩展节点集群的大数据分析处理系统，其特征在于，其包括OLAP数据库层、OLAP服务器层和应用层，