[发明专利]一种分布式流量采集分析的实现方法及系统

权利要求书

1.一种分布式流量采集分析的实现方法，其特征在于，包括以下步骤：

采集网络流量样本，对网络流量样本添加不同维度的索引标签；

将采集的网络流量样本存储至Elasticsearch分布式搜索引擎中，并按照不同维度对网络流量样本进行检索；

对网络流量样本进行统计，并存储至Redis数据库中；

将网络流量样本进行回放。

2.根据权利要求1所述的方法，其特征在于，所述不同维度包括：地域维度、带宽维度、时间维度、码址维度、协议维度、关键词维度、长度范围维度、流量长度范围维度。

3.根据权利要求1所述的方法，其特征在于，所述Elasticsearch分布式搜索引擎对索引进行分片；当一个索引在创建时需要指定索引的分片数量，分片分为主分片和副本分片，当存储一个文档的时候，Elasticsearch分布式搜索通过计算将其存入到相应的主分片上，然后同步到其副本分片中，副本分片不仅仅是只对主分片进行冗余操作，还能进行查询、计算以分担其主分片的压力。

4.根据权利要求1所述的方法，其特征在于，所述对网络流量样本进行统计，其统计值包括字节数、包数、流数、时长平均值、时长最大值、时长最小值；并根据不同的协议统计占比情况，通过柱状图、饼图、折线图来进行样本流量统计展示，以方便用户理解检索结果。

5.根据权利要求1所述的方法，其特征在于，对于存储至所述Redis数据库中的数据，采用MySQL主从集群和HDFS高可用集群的双重保障存储结构进行数据持久化存储。

6.根据权利要求1所述的方法，其特征在于，所述将网络流量样本进行回放，是采用TCPREPLAY技术重放网络流量。

7.根据权利要求1所述的方法，其特征在于，所述将网络流量样本进行回放，支持按照捕获样本流量时数据包的速度或者指定速度重放网络流量，在回放过程中严格保证发送的数据包序列与捕获时的真实流量数据包序列一致；支持在回放的过程中将回放的包的个数、回放时间以及当前回放率进行实时反馈，支持在回放的过程中按照MAC地址对回放的数据包进行动态修改。

8.一种采用权利要求1～7中任一权利要求所述方法的分布式流量采集分析的实现系统，其特征在于，包括：

样本流量捕获模块，用于采集网络流量样本；

样本流量标记模块，用于对采集的网络流量样本添加不同维度的索引标签；

样本流量检索模块，用于将采集的网络流量样本存储至Elasticsearch分布式搜索引擎中，并按照不同维度对网络流量样本进行检索；

样本流量统计模块，用于对网络流量样本进行统计，并存储至Redis数据库中；

样本流量回放模块，用于将网络流量样本进行回放。

9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一权利要求所述方法的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～7中任一权利要求所述的方法。