[发明专利]基于ElasticSearch和Hbase技术的网络传输数据存储系统

说明书

本发明基于ElasticSearch和Hbase技术的网络传输数据存储系统，包括：Kafka模块，用于对网络传输数据进行接入和发布；Flume数据处理模块，包括：Flume Interceptors单元，用于对Kafka模块发布的网络传输数据解析为JSON格式，并进行数据处理；Channel选择单元，用于为每种数据类型定义特定的通道，及将Flume Interceptors单元处理后的网络传输数据按数据类型推送至对应通道；Flume Channel单元，用于接收及根据数据类型将网络传输数据传输；HBase Sink存储单元，用于根据设定的存储结构将网络传输数据中的元数据结合原始报文存储到HBase中；ES Sink存储单元，用于将提取的网络传输数据中的元数据存储到ES中。本发明接入处理速度和数据检索响应提高，实现快速的数据传输和存储，有效解决网络数据的快速存储及合理存储问题。

技术领域

本发明属于网络流量数据存储技术领域，涉及一种基于ElasticSearch和Hbase技术的网络传输数据存储系统。

背景技术

随着网络技术的快速发展，产生了大量的网络传输数据，针对这些数据的采集、监控、存储、分析等问题，日益成为政府、军队、以及互联网公司的重点研究方向。其中海量网络传输数据的存储问题，也是各个研究部分的难点问题。网络数据以IP数据包的形式进行传输，如何通过目前国内外的存储技术进行选型，针对以上数据有效地存储、保证数据存储性能及可靠性、为数据分析提供快速的查询接口是目前网络传输数据存储技术的关键。

发明内容

发明所要解决的课题是，解决目前网络中网络传输数据高速存储问题，并为网络分析提供支持快速检索及分布式查询的数据模型问题。

用于解决课题的技术手段是，本发明提出一种基于ElasticSearch和Hbase技术的网络传输数据存储系统，包括：

Kafka模块，用于对网络传输数据进行接入和发布；

Flume数据处理模块，包括Flume Interceptors单元、Channel选择单元、FlumeChannel单元、HBase Sink存储单元、ES Sink存储单元；所述Flume Interceptors单元，用于对Kafka模块发布的网络传输数据解析为JSON格式，并进行数据处理，包括增加消息序列、增加时间戳、增加DataRowkey；所述Channel选择单元，用于为每种数据类型定义特定的通道，及将Flume Interceptors单元处理后的网络传输数据按数据类型推送至对应通道；所述Flume Channel单元，用于接收Channel各通道推送的网络传输数据并缓存，及根据数据类型将网络传输数据传输至HBase Sink存储单元或ES Sink存储单元；所述HBase Sink存储单元，用于根据设定的存储结构将网络传输数据中的元数据结合原始报文存储到HBase中；所述ES Sink存储单元，用于将提取的网络传输数据中的元数据存储到ES中。

进一步地，作为本发明的一种优选技术方案，所述Kafka模块将接入的网络传输数据发布为Topic。优选地，按照网络数据特征分为：单包数据类型接入Topic，应用日志类型接入Topic、统计数据类型接入Topic、文档数据Topic。

进一步地，作为本发明的一种优选技术方案，所述Flume Interceptors单元进行增加消息序列，包括设定增加到消息序列的随机数并作为接入网络传输数据的名称标识。

进一步地，作为本发明的一种优选技术方案，所述Flume Interceptors单元进行增加时间戳，包括按当前服务器时间生成时间戳及作为接入网络传输数据的时间标识。

进一步地，作为本发明的一种优选技术方案，所述Flume Interceptors单元增加的DataRowkey的组成为：数据秒数+(Long.Max-记录时间)+线路+数据类型+数据流水号，其中Long.Max-记录时间表示系统中最大值与当前时间戳的差值。