[发明专利]资源可控制的网络流监测方法

说明书

技术领域

本发明涉及一种用于测量网络流的方法，尤其涉及一种资源可控制的网络流监测方法。

背景技术

网络流在网络中应用非常广泛，基于网络流的行为分析和异常检测是热点研究问题，在IETF组织中有二个工作组专门研究网络流的有关问题，实时流测量工作组RTFM和网络流信息输出工作组IPFIX，他们的工作是建立网络流测量的相关通用标准。由于互联网的“更大、更快、突变”的特性，使得基于抽样、数据流算法等近似测量技术成为目前网络流测量的重点研究问题。

网络流测量领域的抽样技术相关研究主要体现为：2001年Nick Duffield认为重尾流在网络中占的比重较小而对流的统计估计影响较大，因而提出基于流大小的不等概率抽样，其缺点也是要分析通过测量点的所有报文。2002年，UCSD大学的Christian Estan等通过多层过滤机制实现重尾流估计的全报文过滤的抽样机制，实际是一种流估计技术，该方法的问题是所有报文要进行多次哈希运算。2003年Nick Duffield通过SYN报文估计流数进行了有关流分布研究，但最终只能估计TCP流，而不能估计其它类型的流。同年在IMC会议上，Nicolas Hohn重点分析比较了基于报文抽样和基于流抽样两种抽样方法的优缺点，但没有给出具体的流抽样方法。2006年Raspall等人提出了一个基于Sample & Hold算法的S3算法，S3算法比原有的算法能更精确地检测出高速网络重尾流。同年Ribeiro提出使用报文序列号和SYN等信息，并设计最大似然估计器进行报文抽样流分布估计。

由于网络流数据具有重要应用和研究价值，现代路由器中都提供了网络流测量功能，如Cisco路由器中提供了NetFlow功能，NetFlow在路由器中提供了网络流测量功能，由于路由器难以提供足够的资源测量所有通过其的所有网络流，Cisco在NetFlow基础上增加了抽样功能，抽样的NetFlow可以通过抽取部分网络流量进行网络流测量，但是在测量过程中NetFlow的测量抽样概率需要用户调整，另外无法适应网络流量的突变情况。Estan提出了具有自适应抽样能力的NetFlow，该NetFlow算法能够适应网络流量的突变情况，但最终不能充分发挥路由器的测量资源，测量精度较低，在网络流重抽样过程中也消耗较多的CPU资源，因此设计更有效、更精确的自适应抽样算法就更为重要。

网络测量和流量分析领域也是国内的研究热点，但与国外的研究相比，国内高校也在网络测量领域进行了一定的研究工作，但相应的研究成果仍较少，主要集中在，东南大学研究网络流量测量中的哈希算法、网络流超时机制、TCP链接参数和TCP的动态平衡性等网络流量测量和分析技术。北京邮电大学在IP网络的带宽测量和流测量中基于测量缓冲区的时间分层分组抽样方面做出了一定的贡献。

综上所述：目前研究大规模高速网络下的网络流检测和分析技术是一个研究趋势，特别在DDoS/DoS(Denial of Service)和蠕虫等异常网络流量检测技术中，分布式协同的测量技术、实时网络流及流数的数据流算法和抽样等近似测量技术、以及基于网络流行为特征的异常监测技术等都已是网络测量的热点研究技术问题。本课题研究将为新一代高速互联网的实时流量检测、安全管理提供重要的理论依据和技术支持。

发明内容

本发明提供一种能够提高网络流的估计精度并能减少系统测量资源消耗的资源可控制的网络流监测方法。

本发明采用如下技术方案：

一种资源可控制的网络流监测方法：

第一步：设置测量参数

设置一个大小为k的二维数组作为流缓冲M，

设置一个流缓冲淘汰开始阀值R，

设置一个流缓冲淘汰结束阀值T，

设置一个大小为d的二维数组作为流分布缓冲D，

设置预抽样比率n，流抽样比率r，测量开始时间t1和测量结束时间t2，流分布缓冲大小d必须大于r，上述预抽样比率n及流抽样比率r均为自然数，

设置预抽样比率变量x＝0，流抽样比率变量y＝0；

第二步：预抽样过程

当一个报文到达测量器，累加预抽样比率变量x＝x+1，如果预抽样比率变量x小于预抽样比率n，x<n，则这个报文没有被抽样，进到第十四步；如果预抽样比率变量x等于预抽样比率n，x＝n，这个报文被抽样，设置预抽样比率变量x＝0，将流抽样比率变量y累加1，y＝y+1，进入第三步；

第三步：报文更新抽样判断