[发明专利]基于Kafka的原始流量存储装置

说明书

本发明公开了一种基于Kafka的原始流量存储装置，包括：帧接收模块：接收外部系统的流量包；帧解析模块：解析流量包并获取五元组信息，将五元组信息作为kafka message的key值，发往kafka集群；原始流量落地模块：采用spark streaming模块将kafka集群收到的数据批量存储到大数据存储组件。本发明在大于10gbps的网络流量下吞吐能力强，支持离线处理，支持模糊查询，查询速度快。用户能够实时地将流量包存储到大数据存储组件中，在此基础上实现实时的上层业务。

技术领域

本发明涉及大数据技术及网络安全技术，特别是涉及原始流量存储装置。

背景技术

在互联网高速发展的今天，互联网安全成为一个重要的研究领域。新一代的网络安全技术与大数据技术结合，得到进一步发展，如基于大数据的网络威胁检测、网络安全预警、网络安全审计、深度包检测等，存储网络流量数据为应对0-day攻击、高级可持续攻击等提供数据基础。

除了传统采集设备本身存储空间有限，不适合长期存储海量原始流量数据以外，大多数现有网络流量存储、处理、查询均基于storm、HBase的流式框架实现，其不足之处在于：1)在大于10gbps的网络流量下，吞吐能力弱；2)不支持离线处理；3)查询项单一，不支持模糊查询，查询速度慢。

发明内容

发明目的：本发明的目的是提供一种基于Kafka的原始流量存储装置，它在大于10gbps的网络流量下吞吐能力强，支持离线处理，支持模糊查询，查询速度快。

技术方案：本发明所述的基于Kafka的原始流量存储装置，包括：

帧接收模块：接收外部系统的流量包；

帧解析模块：解析流量包并获取五元组信息，将五元组信息作为kafka message的key值，发往kafka集群；

原始流量落地模块：采用spark streaming模块将kafka集群收到的数据批量存储到大数据存储组件。

进一步，所述流量包和五元组信息均存储到impala集群中。根据五元组信息，能够找到对应的流量包。

进一步，按分区对impala集群添加索引。这样能够提高查询的效率。

进一步，所述帧接收模块采用分流器将流量包分发到各个网卡。这样能够减少网卡负载，避免丢包。

进一步，与五元组信息处于同一会话的流量包作为kafka message的value值，与key值一起发往kafka集群。这样能够提高kafka集群接入的吞吐量。

有益效果：本发明公开了一种基于Kafka的原始流量存储装置，它在大于10gbps的网络流量下吞吐能力强，支持离线处理，支持模糊查询，查询速度快。用户能够实时地将流量包存储到大数据存储组件中，在此基础上实现实时的上层业务。

附图说明

图1为本发明具体实施方式中原始流量存储装置的物理架构示意图；

图2为本发明具体实施方式中的数据处理流程图。

具体实施方式

本具体实施方式公开了一种基于Kafka的原始流量存储装置，包括：

帧接收模块：接收外部系统的流量包；采用分流器将流量包分发到各个网卡；

帧解析模块：按照schema模板和分隔符解析流量包并获取五元组信息，流量包和五元组信息均存储到impala集群中；将五元组信息作为kafka message的key值，与五元组信息处于同一会话的流量包作为kafka message的value值，与key值一起发往kafka集群；