[发明专利]一种分布式流量采集分析的实现方法及系统

说明书

本发明涉及一种分布式流量采集分析的实现方法及系统。该方法的步骤包括：采集网络流量样本，对网络流量样本进行标记，添加不同维度的索引标签；将采集的网络流量样本存储至Elasticsearch分布式搜索引擎中，并按照不同维度对网络流量样本进行检索；对网络流量样本进行统计，并存储至Redis数据库中；采用TCPREPLAY技术将网络流量样本进行回放，可以按照数据包的速度或者指定速度去重放网络流量。本发明通过网络数据包的采集和分析，可以实现对网络流量的标记、检索、储存和回放，通过对抓取的网络流量进行分析，可以实时了解网络的状态。

技术领域

本发明属于分布式流量采集分析领域，涉及一种分布式流量采集分析的实现方法及系统，能够实现PCAP流量的采集、分析、标记、检索、存储和回放。

背景技术

随着互联网和网络应用的快速发展，网络流量正在呈现出爆发式的增长，其潜在的价值也正在被不断挖掘和利用。网络作为数据交换和共享的基础条件，正在承载着日益增长的数据传输需求，如何实现对网络数据的实时获取，存储和分析是网络流量分析必须面对的问题。当前，单台服务器的性能已经远远无法满足网络数据分析的要求，分布式网络数据获取和分析模式是该工作的发展方向和必要手段。因此，采用分布式结构是当前的必要选择。

分布式网络流量分析系统将重点解决超高速条件下的网络数据获取，数据存储，数据分析及可视化等能力，并且采用松耦合的方式实现各功能模块的分布式部署。业界已有的网络流量分析技术，虽然可以对网络进行分析，但是分析的维度并不是那么精细，分析效果还有待完善。

发明内容

本发明提供一种分布式流量采集分析的实现方法及系统，通过网络数据包的采集和分析，可以实现对网络流量的标记、检索、储存和回放，通过对抓取的网络流量进行分析，可以实时了解网络的状态。

本发明从地域维度、带宽维度、时间维度、码址维度、二层协议维度、三层协议维度、关键词纬度、长度范围纬度、流量长度范围等对网络流量进行划分，并且支持按各种组合索引条件查询获得对应的流量样本，生成信息摘要文件，可以对网络样本进行回放和统计等。

本发明采用的技术方案如下：

一种分布式流量采集分析的实现方法，包括以下步骤：

采集网络流量样本，对网络流量样本添加不同维度的索引标签；

将采集的网络流量样本存储至Elasticsearch分布式搜索引擎中，并按照不同维度对网络流量样本进行检索；

对网络流量样本进行统计，并存储至Redis数据库中；

将网络流量样本进行回放。

进一步地，所述不同维度包括：地域维度、带宽维度、时间维度、码址维度、协议维度、关键词维度、长度范围维度、流量长度范围维度。

进一步地，所述Elasticsearch分布式搜索引擎对索引进行分片；当一个索引在创建时需要指定索引的分片数量，分片分为主分片和副本分片，当存储一个文档的时候，Elasticsearch分布式搜索通过计算将其存入到相应的主分片上，然后同步到其副本分片中，副本分片不仅仅是只对主分片进行冗余操作，还能进行查询、计算以分担其主分片的压力。

进一步地，所述对网络流量样本进行统计，其统计值包括字节数、包数、流数、时长平均值、时长最大值、时长最小值；并根据不同的协议统计占比情况，通过柱状图、饼图、折线图来进行样本流量统计展示，以方便用户理解检索结果。

进一步地，对于存储至所述Redis数据库中的数据，采用MySQL主从集群和HDFS高可用集群的双重保障存储结构进行数据持久化存储。

进一步地，所述将网络流量样本进行回放，是采用TCPREPLAY技术重放网络流量。