[发明专利]一种大数据的数据处理系统及方法

说明书

本发明公开了一种大数据的数据处理系统及方法，该系统包括容器节点模块、数据查询节点模块、历史数据节点模块、zoopeeker和HDFS，所述zoopeeker用于协调管理所述容器节点模块、数据查询节点模块以及历史数据节点模块的工作状态；数据查询节点模块用于获取查询条件并生成对应的查询任务，然后将对应的查询任务分配给容器节点模块以及历史数据节点模块，并接收容器节点模块返回的第一查询结果以及容器节点模块返回的第二查询结果；所述数据查询节点模块还用于根据第一查询结果和第二查询结果生成最终查询结果并输出。本发明能够大大提高查询性能，从而实现真正意义上的大数据的加速。

技术领域

本发明涉及大数据领域，尤其涉及一种大数据领域的数据处理系统及方法。

背景技术

当前的大数据的方案解决了数据存储和分析，然后分析的性能低，究其原因为：缺少索引技术，来提高数据快速扫描和聚合；缺少针对索引分片合并的分布式索引技术。一般来说，采用如下三种方案：

1、OLAP(On-Line Analysis Processing，联机分析处理)解决方案，其利用了Hbase作为存储，对数据进行预聚合处理，可以满足常用的报表需求，但只支持少量数据维度。

2、GreenPlum，其是一种MPP(Massive Parallel Processor，大量并行处理)数据库，主要涉及思想是每台机器一个数据库，利用并行计算能力提高查询分析速度，在一定数据量的情况下做到秒级响应，但是其集群规模有上限，无法满足大数据的实时分析查询。

3、Presto或Impala，其利用Parquet或者OrcFile作为底层数据存储，同Hbase一样作为简单的列式存储，在查询有限维度的情况下有不错的查询效果，但缺少正向索引，在多维查询或者聚合查询时性能较差。

针对上述三种方案：第一种，采用OLAP的方式，可以满足业务报表需求，但是缺点非常明显，需要多数据做预聚合处理，在预聚合的过程中会损失数据信息的完整性，无法满足的大数据信息挖掘。另外，大数据的OLAP通常是一种用空间换时间的方案，反向索引的功能较弱，在维度数据较多基数较大的情况下，数据会急剧膨胀，最终导致数据查询分析性能低。第二种，采用MPP的方式，由于采用的是没有中心节点的存储模型，集群节点扩展不方便，且在上百个节点后，难以继续扩展。另外，MPP采用的精细化内存管理，这在小数据量的情况下能做到低延迟，但在大数据量的情况下，无法做到高IO，同时也会导致计算时大量消耗CPU。第三种，采用Parqeut、OrcFile或者Hbase等简单的列式存储，这种方式能够在一定程度上解决数据查询IO高的问题，查询维度较多时，IO的问题依然存在，查询性能也随之下降。另外，由于缺少正向索引，在查询分析需要对数据进行聚合时，无法做到低延迟，并且IO相当高。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种大数据的处理系统，其能够提高大数据中处理数据的查询性能，实现大数据的加速。

本发明的目的之一采用以下技术方案实现：

本发明提供了一种大数据的数据处理系统，包括容器节点模块、数据查询节点模块、历史数据节点模块、zoopeeker和HDFS，所述容器节点模块、数据查询节点模块、历史数据节点模块分别与zoopeeker数据通信，所述容器节点模块、历史数据节点模块分别与HDFS数据通信；所述zoopeeker用于协调管理所述容器节点模块、数据查询节点模块以及历史数据节点模块的工作状态；

所述数据查询节点用于接收查询条件并根据所述查询条件生成对应的查询任务，然后将所述查询任务分发到历史数据节点模块以及容器节点模块；

所述容器节点模块用于获取外部实时数据，并根据对应的查询任务以及外部实时数据得出第一查询结果，并将所述第一查询结果返回给数据查询节点模块；