[发明专利]一种大数据的数据处理系统及方法

摘要

本发明公开了一种大数据的数据处理系统及方法，该系统包括容器节点模块、数据查询节点模块、历史数据节点模块、zoopeeker和HDFS，所述zoopeeker用于协调管理所述容器节点模块、数据查询节点模块以及历史数据节点模块的工作状态；数据查询节点模块用于获取查询条件并生成对应的查询任务，然后将对应的查询任务分配给容器节点模块以及历史数据节点模块，并接收容器节点模块返回的第一查询结果以及容器节点模块返回的第二查询结果；所述数据查询节点模块还用于根据第一查询结果和第二查询结果生成最终查询结果并输出。本发明能够大大提高查询性能，从而实现真正意义上的大数据的加速。

主权项

一种大数据的数据处理系统，其特征在于，包括容器节点模块、数据查询节点模块、历史数据节点模块、zoopeeker和HDFS，所述容器节点模块、数据查询节点模块、历史数据节点模块分别与zoopeeker数据通信，所述容器节点模块、历史数据节点模块分别与HDFS数据通信；所述zoopeeker用于协调管理所述容器节点模块、数据查询节点模块以及历史数据节点模块的工作状态；所述数据查询节点用于接收查询条件并根据所述查询条件生成对应的查询任务，然后将所述查询任务分发到历史数据节点模块以及容器节点模块；所述容器节点模块用于获取外部实时数据，并根据对应的查询任务以及外部实时数据得出第一查询结果，并将所述第一查询结果返回给数据查询节点模块；所述历史数据节点用于根据对应的查询任务从HDFS上下载数据段并查询，得到第二查询结果，并将所述第二查询结果返回给数据查询节点模块；所述数据查询节点还用于根据所述第一查询结果和第二查询结果生成最终查询结果并输出。