[发明专利]一种网络流特征的提取与存储方法

说明书

一种网络流特征的提取与存储方法,包括以下步骤：S1：使用gopacket数据包工具驱动libpcap函数包，捕捉原始的网络数据包，按网络的不同的层次的特性提取网络数据包，得到特征原文数据，并且进行落盘处理，生成本地网络数据包文件并存储；S2：使用avro二进制序列化的方式将特征原文数据序列化成特征二进制数据；S3：将特征二进制数据写入到分布式消息队列构成的数据管道中，进行数据的缓存存储，形成缓存数据；S4：将缓存数据进行反序列化处理得到特征数据，获取到所述特征原文数据，运用窗口运算获取所述特征原文数据的统计特征数据；S5：将所述特征原文数据和统计特征数据用列式稀疏存储的方式存储在分布式数据库Hbase中。

技术领域

本发明涉及计算机通信技术领域，具体涉及一种网络流特征的提取与存储方法。

背景技术

目前许多的网络特征提取工具往往依赖于开源软件如：snort、SNMP、netflow等，物理硬件资源利用率得不到很好的提升，磁盘的IO瓶颈得不到解决，网络资源大量浪费，以及数据的可靠、冗余等机制的缺失，阻碍系统整体的性能、可靠性，最终导致大量的物理、人力资源的浪费。并且snort等的工具的不可控性会带来很多安全性问题以及更多的人力成本，同时，面对海量网络数据流的情况下，传统的网络流特征提取工具的性能不足以承担高速网络的网络流特征提取与存储工作。本发明所使用的特征提取技术能够在大流量的情况下保障整个系统的高效性、稳定性，节省物理、人力成本。

在实际生产环境中，特征数据流的传输，往往采用原文的方式在数据管道中流转，处理灵活性低，造成了网络资源的浪费，容易达到网络瓶颈，进而从而引发整个系统的停滞。

发明内容

针对现有技术中所存在的不足，本发明提供了一种网络流特征的提取与存储方法，解决在有限的网络条件下保障网络流特征提取的鲁棒性、高效性，保证存储的可用性、可靠性的问题。为实现上述目的，本发明采用了如下的技术方案：一种网络流特征的提取与存储方法,包括以下步骤：

S1：使用gopacket数据包工具驱动libpcap函数包，按网络的不同的层次的特性对网络数据进行网络数据包提取，得到特征原文数据,并且进行落盘处理，生成本地数据包文件并存储；

S2：使用avro二进制序列化的方式将特征原文数据序列化成特征二进制数据；

S3：将特征二进制数据写入到分布式消息队列构成的数据管道中，进行数据的缓存存储；

S4：提取缓存数据进行反序列化处理得到特征数据，运用基于Flink流式处理引擎的窗口运算获取所述特征数据的统计特征数据；

S5：将所述特征数据和统计特征数据拼接成网络流特征，用列式稀疏存储的方式将网络流特征存储在分布式数据库Hbase中。

进一步的，运用基于Flink流式处理引擎的窗口运算获取所述特征数据的统计特征数据，得到数量统计特征数据和时间统计特征数据，具体实现步骤为：

S4-1：建立时间窗口并设定时间阈值；

S4-2：对进入时间窗口的特征数据中的每一条数据时数据进行信息计算；

S4-3：到达时间窗口的时间阈值时，调用窗口计算，得出时间统计特征数据；

S4-4：建立数量窗口并设定数量时间阈值；

S4-5：对进入窗口的特征数据中的每一条数据时数据进行信息计算；

S4-6：到达时间数量时间阈值时，调用窗口计算，得出数量统计特征数据。

进一步的，特征原文数据的类型包括特征包括Ethernet、IP、ICMP、TCP和UDP五种协议的报文头部数值特征。

进一步的，步骤S1中特征原文数据提取的具体步骤为：