[发明专利]一种轻量级可拓展的网络流量特征提取工具和方法

权利要求书

1.一种轻量级可拓展的网络流量特征提取工具，包括提取工具本体，其特征在于：所述提取工具本体包括两种提取特征模式，两种所述提取特征模式分别是按流提取的flow模式和按pcap文件提取的file模式；

在flow模式下，输入的流量将按照五元组分流并分别按流进行特征提取；

在file模式下，工具将对每个pcap文件中的流量视为一个整体进行特征提取；

在特征提取的过程中，根据数据包的方向可以划分为上行、下行和双向三类。

2.根据权利要求1所述的一种轻量级可拓展的网络流量特征提取工具，其特征在于：拥有相同五元组的数据包属于同一条流。

3.根据权利要求2所述的一种轻量级可拓展的网络流量特征提取工具，其特征在于：在flow模式下，每一条流都会作为一条记录输出相应的特征。

4.根据权利要求3所述的一种轻量级可拓展的网络流量特征提取工具，其特征在于：在file模式下，每一个文件会作为一条记录输出特征，并记录流的数目。

5.根据权利要求4所述的一种轻量级可拓展的网络流量特征提取工具，其特征在于：每一条记录仅在最后获取到完整流量后计算一次，而非来一个数据包计算一次。

6.根据权利要求1所述的一种轻量级可拓展的网络流量特征提取工具，其特征在于：在此定义数据包由客户端发往服务器的方向为上行，由服务器发往客户端则是下行。

7.根据权利要求1所述的一种轻量级可拓展的网络流量特征提取工具，其特征在于：确定服务器和客户端的原则，优先在TCP流中发起连接建立的一方为客户端；若捕获的流量不完整，没有捕获到握手包，则IP地址为私有IP的一方是客户端，包含三类：

a)10.0.0.0-10.255.255.255，

b)172.16.0.0-172.31.255.255，

c)192.168.0.0-192.168.255.255。

8.根据权利要求7所述的一种轻量级可拓展的网络流量特征提取工具，其特征在于：若通信双方的IP均为私有IP或者均为公有IP，则端口号大的一方为客户端，端口号小的一方为服务器；若端口号相同，则依次比较双方IP地址的各域的大小，较大的一方为客户端。

9.根据权利要求1所述的一种轻量级可拓展的网络流量特征提取工具，其特征在于：所述五元组分别为传输层协议、源IP、源端口、目的IP和目的端口。

10.一种轻量级可拓展的网络流量特征提取方法，其特征在于，包括以下步骤：

S1在file模式时，按文件提取特征，在此模式下允许批量读取pcap文件进行分析，而单线程下处理大量文件的处理效率将极为低下，所以工具默认开启多进程模式；

S2本工具将根据CPU的线程数创建多个子进程同时对不同的pcap文件进行解析，最后主进程负责将每个子进程提取的特征结果进行合并；

S3用户能够在配置文件中选择是否关闭多进程，以及设置最多同时运行的进程数目；

S4在flow模式时，按流提取特征，本模式能够在离线模式下读取pcap文件，或在线模式下读取指定网卡的流量，流量会被按照五元组分流，然后对流进行特征提取，每一条流都作为一条记录输出特征值；

S5当一条流结束或pcap文件读取完毕时流仍未结束，工具会立即输出该流的特征，考虑到有些流持续时间较长，但已经可以根据已有的数据包获取其特征值，所以允许用户设置特征提取最大所需包的数目，默认为无穷大，当该流已经获取到了足够的数据包时，将立即计算该流的特征，并不再考虑后续到来的数据包；

S6同样，有些流由于过短，提取出的特征没有实际意义，用户可以设置特征提取所需最少包数目，默认为1，来过滤掉没有实际意义的流量。