[发明专利]一种大数据的数据处理系统及方法

权利要求书

1.一种大数据的数据处理系统，其特征在于，包括容器节点模块、数据查询节点模块、历史数据节点模块、zoopeeker和HDFS，所述容器节点模块、数据查询节点模块、历史数据节点模块分别与zoopeeker数据通信，所述容器节点模块、历史数据节点模块分别与HDFS数据通信；所述zoopeeker用于协调管理所述容器节点模块、数据查询节点模块以及历史数据节点模块的工作状态；

所述数据查询节点用于接收查询条件并根据所述查询条件生成对应的查询任务，然后将所述查询任务分发到历史数据节点模块以及容器节点模块；

所述容器节点模块用于获取外部实时数据，并根据对应的查询任务以及外部实时数据得出第一查询结果，并将所述第一查询结果返回给数据查询节点模块；所述容器节点模块用于将外部实时数据生成索引数据文件，并将所述索引数据文件以数据段的形式上传至HDFS；

所述历史数据节点用于根据对应的查询任务从HDFS上下载数据段并查询，得到第二查询结果，并将所述第二查询结果返回给数据查询节点模块；

所述数据查询节点还用于根据所述第一查询结果和第二查询结果生成最终查询结果并输出；所述索引数据文件包括词典文件、元数据文件、倒排索引文件和列正向索引文件；

元数据文件是管理数据结构维度层，包括每一列维度的名称、类型以及响应值的偏移位置；词典文件是针对每一列维度值建立对应的字典标签，便于建立索引时信息压缩，同时记录每一个维度值的倒排索引的偏移位置；倒排索引文件中保存了维度值与行号之间的映射关系，通过纬度值查找行号；列正向索引文件通过行号来查找纬度值；

所述容器节点模块生成索引数据文件时首先对实时数据进行元数据文件的提取，然后利用词典建立相应列值的标签，最后建立对应得到倒排索引文件和列正向索引文件；

所述容器节点模块还用于一个或多个启动实时任务节点，每个实时任务节点用于获取外部数据源的数据，并生成索引数据，然后根据数据查询节点模块分配的查询任务进行查询并得出对应的第一查询结果，以及将第一查询结果返回给数据查询节点模块；同时，还用于将索引数据以数据段的形式上传HDFS上存储；所述外部数据源的数据包括网络中获取的实时数据；

还包括数据管理节点模块，所述数据管理节点模块与所述zoopeeker数据通信，所述数据管理节点模块用于对HDFS上存储的数据段进行更新、删除以及修改操作；

还包括任务管理节点模块，所述任务管理节点模块与zoopeeker数据通信；所述任务管理节点模块用于对实时任务的调度、关闭以及运行的监控。

2.一种大数据的数据处理方法，其应用于如权利要求1所述的大数据的数据处理系统，其特征在于，包括以下步骤：

通过数据查询节点模块获取查询条件，并根据所述查询条件生成对应的查询任务；

通过数据查询节点模块将对应的查询任务分别分配给历史数据节点模块与容器节点模块；

通过容器节点模块根据对应的查询任务以及获取的外部实时数据得到第一查询结果；通过历史数据节点模块根据对应的查询任务以及HDFS上下载的数据段得到第二查询结果；所述容器节点模块还将获取的外部实时数据生成对应的索引数据文件，并将所述索引数据以数据段的形式上传至HDFS存储；

通过数据查询节点根据容器节点模块返回的第一查询结果以及历史数据节点模块返回的第二查询结果生成最终查询结果并输出；所述索引数据文件包括词典文件、元数据文件、倒排索引文件和列正向索引文件；

元数据文件是管理数据结构维度层，包括每一列维度的名称、类型以及响应值的偏移位置；词典文件是针对每一列维度值建立对应的字典标签，便于建立索引时信息压缩，同时记录每一个维度值的倒排索引的偏移位置；倒排索引文件中保存了维度值与行号之间的映射关系，通过纬度值查找行号；列正向索引文件通过行号来查找纬度值；

所述容器节点模块生成索引数据文件时首先对实时数据进行元数据文件的提取，然后利用词典建立相应列值的标签，最后建立对应得到倒排索引文件和列正向索引文件；

所述容器节点模块还用于一个或多个启动实时任务节点，每个实时任务节点用于获取外部数据源的数据，并生成索引数据，然后根据数据查询节点模块分配的查询任务进行查询并得出对应的第一查询结果，以及将第一查询结果返回给数据查询节点模块；同时，还用于将索引数据以数据段的形式上传HDFS上存储；所述外部数据源的数据包括网络中获取的实时数据；

通过任务管理节点模块对实时任务进行调度、关闭以及运行的监控；还包括通过数据管理节点模块对HDFS上存储的数据段进行更新、删除以及修改操作。