[发明专利]一种自适应高速网络流量分层抽样采集方法

说明书

技术领域

本发明涉及网络入侵检测系统(NIDS：Network Intrusion Detection System)处理大规模高速网络流量的方法，尤其涉及一种自适应高速网络流量分层抽样采集方法。

背景技术

随着网络规模的扩大，带宽的增长和用户数量的急剧暴涨，高速网络环境越来越多。然而，大规模高速网络(特别是G比特网络)环境下，大量的网络数据使得NIDS面临严峻的挑战。报文的到达速率远远超过NIDS的处理能力，造成严重丢包，NIDS无法对高速流量进行完整的安全监控和入侵检测，甚至造成NIDS自身失效。

针对高速网络环境下的NIDS存在的问题，国内外提出了一些解决方案：

零拷贝技术，主要使用DMA数据传输和内存区映射技术，以减少报文拷贝的次数，减少系统调用，实现报文从网络设备到用户空间传递过程中CPU的零参与。这种方法无法实现Gbps流量处理。

负载均衡技术，对于具有多个入侵检测探针的分布式NIDS，可以将大规模高速网络流量分流到多个节点进行处理，从而降低整个NIDS的流量负载，避免出现丢包现象。这种方法实现代价较高，复杂的负载均衡算法会影响整个系统的效率，NIDS还需要对分流后的流量重组才能进行完整的入侵检测。

近来，硬件实现(如基于FPGA)的NIDS可以支持最高10Gbps高速流量，但是这种方法也有局限：只能进行特征监测，无法进行异常监测，无法识别新型入侵和攻击；随着入侵检测规则的增多，性能会受到严重的影响。

总之，由于捕获，存储和分析等计算机资源的限制，传统的基于每包监测的NIDS无法适用于未来的T比特网络。

针对网络流量的统计学抽样最早应用于评估NSFNET骨干网的报文尺寸分布和线路延迟，现已广泛应用于高速链路的流量测量。传统的抽样流量数据主要用于网络管理任务，随着安全分析的要求日益迫切，抽样流量数据也应用于各种异常检测算法。

报文抽样技术是高速网络流量监测中经常采用的一种有效测量技术。它对观测点所在链路上通过的报文进行抽样操作，形成报文样本，这些报文样本所反映出来的特征可以从某种程度上体现出链路上原来真实流量特征。

在国内外高速网络流量异常监测技术的研究中，网络流量的抽样技术已经成为了研究的热点。

发明内容

本发明目的在于克服了现有技术中的不足，提供了一种自适应高速网络流量分层抽样采集方法。

本发明的技术方案是：

一种自适应高速网络流量分层抽样采集方法，包含以下步骤：

一种自适应高速网络流量分层抽样采集方法，包含以下步骤：(a)按照IP数据报首部协议字段的值，将高速网络流量分成TCP流量，UDP流量和其他协议流量三个层；(b)每个层内采用基于报文计数溢出的方式触发报文抽样过程；(c)样本分配方法采用自适应高速网络流量速率进行动态调整；(d)确定调整分层抽样策略的时间间隔。

将IP数据报协议字段的8个比特与对应十进制表示为6和17的两个比特掩码分别进行匹配，以确定该报文是属于TCP流量这一层还是UDP流量这一层，若两者皆不匹配，则该报文属于其他协议流量这一层。

每个层维护单独的报文计数器对流经的报文进行计数，如果报文计数器溢出则触发抽样过程，抽取对应的报文，同时将该报文计数器设置为“0”，重新开始计数，直到溢出再抽取下一个对应的报文，如此循环进行；

对于TCP流量，报文计数器溢出值按照(2ⁱ-1)进行动态调整，同时抽取报文TCP头部任何一个SYN，RST或FIN标志位置“1”的报文。

对于UDP流量，报文计数器溢出值按照(2×i-1)进行动态调整。

对于其他协议流量，报文计数器溢出值按照(i-1)进行动态调整。

将调整分层抽样策略的时间间隔缺省设置为60秒，经过一个月或更长时间连续运行后，再根据具体的高速网络应用环境和相应TCP流的生存周期的累计分布函数统计特征决定是否需要进行微调；所说的TCP流指的是具有相同源/目IP地址，源/目端口号和协议的一系列报文。

采用分层抽样的策略：本发明针对使用IP协议版本号为4的报文，按照IP数据报首部协议字段的值，将高速网络流量分成TCP流量，UDP流量和其他协议流量三个层。