[发明专利]基于ElasticSearch和Hbase技术的网络传输数据存储系统

权利要求书

1.基于ElasticSearch和Hbase技术的网络传输数据存储系统，其特征在于，包括：

Kafka模块，用于对网络传输数据进行接入和发布；

Flume数据处理模块，包括Flume Interceptors单元、Channel选择单元、FlumeChannel单元、HBase Sink存储单元、ES Sink存储单元；所述Flume Interceptors单元，用于对Kafka模块发布的网络传输数据解析为JSON格式，并进行数据处理，包括增加消息序列、增加时间戳、增加DataRowkey；所述Channel选择单元，用于为每种数据类型定义特定的通道，及将Flume Interceptors单元处理后的网络传输数据按数据类型推送至对应通道；所述Flume Channel单元，用于接收Channel选择单元的各通道推送的网络传输数据并缓存，并根据数据类型将网络传输数据传输至HBase Sink存储单元或ES Sink存储单元；所述HBase Sink存储单元，用于根据设定的存储结构将网络传输数据中的元数据结合原始报文存储到HBase中；所述ES Sink存储单元，用于将提取的网络传输数据中的元数据存储到ES中。

2.根据权利要求1所述基于ElasticSearch和Hbase技术的网络传输数据存储系统，其特征在于，所述Kafka模块将接入的网络传输数据发布为Topic。

3.根据权利要求2所述基于ElasticSearch和Hbase技术的网络传输数据存储系统，其特征在于，所述Kafka模块发布的Topic按照网络数据特征分为：单包数据类型接入Topic，应用日志类型接入Topic、统计数据类型接入Topic、文档数据Topic。

4.根据权利要求1所述基于ElasticSearch和Hbase技术的网络传输数据存储系统，其特征在于，所述Flume Interceptors单元进行增加消息序列，包括设定增加到消息序列的随机数并作为接入网络传输数据的名称标识。

5.根据权利要求1所述基于ElasticSearch和Hbase技术的网络传输数据存储系统，其特征在于，所述Flume Interceptors单元进行增加时间戳，包括按当前服务器时间生成时间戳及作为接入网络传输数据的时间标识。

6.根据权利要求1所述基于ElasticSearch和Hbase技术的网络传输数据存储系统，其特征在于，所述Flume Interceptors单元增加的DataRowkey的组成为：数据秒数+(Long.Max-记录时间)+线路+数据类型+数据流水号，其中Long.Max-记录时间表示系统中最大值与当前时间戳的差值。

7.根据权利要求1所述基于ElasticSearch和Hbase技术的网络传输数据存储系统，其特征在于，所述HBase Sink存储单元存储过程具体为：

按设定的Hbase存储结构创建Hbase表；

接收和解析来自Flume Channel单元中的网络传输数据，提取出数据中的DataRowKey字段，作为HBase表的RowKey；及提取出网络传输数据中的元数据，作为Hbase表的LogData列，同时提取出网络传输数据中的原始报文数据，作为Hbase表的RawPacket列，并将原始报文数据放入HBase存储队列中；

根据HBase存储队列，按所需条数每次批量提交到HBase中。

8.根据权利要求1所述基于ElasticSearch和Hbase技术的网络传输数据存储系统，其特征在于，所述ES Sink存储单元的存储过程具体为：

按日期创建索引，并根据协议类型生成ES的索引映射关系Mapping；

接收来自Flume Channel单元中的网络传输数据，并提取出网络传输数据中的元数据，并获取数据协议类型后匹配至ES的索引映射关系Mapping，将网络传输数据放入ES存储队列中；

根据ES存储队列，按所需条数每次批量提交到ES中。