[发明专利]一种网络流特征的提取与存储方法

权利要求书

1.一种网络流特征的提取与存储方法,其特征在于，包括以下步骤：

S1：使用gopacket数据包工具驱动libpcap函数包，按网络的不同的层次的特性对网络数据进行网络数据包提取，得到特征原文数据,并且进行落盘处理，生成本地数据包文件并存储；

S2：使用avro二进制序列化的方式将特征原文数据序列化成特征二进制数据；

S3：将特征二进制数据写入到分布式消息队列构成的数据管道中，进行数据的缓存存储；

S4：提取缓存数据进行反序列化处理得到特征数据，运用基于Flink流式处理引擎的窗口运算获取所述特征数据的统计特征数据，具体实现步骤为：

S4-1：建立时间窗口并设定时间阈值；

S4-2：对进入时间窗口的特征数据中的每一条数据时数据进行信息计算；

S4-3：到达时间窗口的时间阈值时，调用窗口计算，得出时间统计特征数据；

S4-4：建立数量窗口并设定数量时间阈值；

S4-5：对进入窗口的特征数据中的每一条数据时数据进行信息计算；

S4-6：到达时间数量时间阈值时，调用窗口计算，得出数量统计特征数据；

S5：将所述特征数据和统计特征数据拼接成网络流特征，用列式稀疏存储的方式将网络流存储在分布式数据库Hbase中。

2.如权利要求1所述的一种网络流特征的提取与存储方法，其特征在于，特征原文数据的类型包括特征包括Ethernet、IP、ICMP、TCP和UDP五种协议的报文头部数值特征。

3.如权利要求1所述的一种网络流特征的提取与存储方法，其特征在于，步骤S1中特征原文数据提取的具体步骤为：

S1-1：将原始的网络数据包镜像汇聚，得到镜像网络流；

S1-2：捕获网络数据包：运用libpcap函数包处理镜像网络流捕获网络数据包；

S1-3：运用gopacket工具读取网络数据包，按照网络的不同的层次的特性，提取各个协议的报文头部特征，既得到特征原文数据，并打包成多个本地的pcap包，既网络数据包本地文件。

4.如权利要求3所述的一种网络流特征的提取与存储方法，其特征在于，所述步骤S1-1中：原始的网络数据包镜像汇聚的处理过程为：得到镜像数据是通过网络设备的SPAN模块，将其他端口的网络流镜像到指定的的端口，获取整个网络的镜像网络流。