[发明专利]高速网络流量的超点实时检测方法

权利要求书

1.一种高速网络流量的超点实时检测方法，其特征是该方法基于Bloom Filter数据结构，采用Bloom Filter技术过滤新流，采用计数型Bloom Filter技术过滤超点；包括设置三个数据结构和三个过程，三个数据结构分别是Bloom Filter数据结构、计数型BloomFilter数据结构和哈希链表数据结构。Bloom Filter数据结构用于记录流存在信息，计数型Bloom Filter数据结构用于记录聚合点的流数信息，哈希链表结构用于记录超点标识和超点流数信息；三个过程分别是基于Bloom Filter的新流检测过程、基于计数型Bloom Filter的超点检测过程和基于哈希链表的超点信息记录过程。

2.根据权利要求1所述基于Bloom Filter的超点实时检测方法，其特征是当一个报文到达测量器，首先在Bloom Filter数据结构中查找该报文是否属于一个新流，如果测量器发现该报文所属的流已经存在，则测量器停止处理该报文，继续处理下一个到达的报文；如果测量器发现新到达的报文是属于一个新流，则将该新流信息记录在这个Bloom Filter数据结构中，并转由计数型Bloom Filter超点检测过程处理；计数型Bloom Filter超点检测过程查找计数型Bloom Filter数据结构以判断该新流的聚合点是否是一个超点，如果这个该新流所对应的聚合点不是一个超点，则将该新流信息记录在计数型Bloom Filter数据结构中，停止处理该报文，继续处理下一个到达的报文；如果这个新流所对应的聚合点是一个超点，则计数型Bloom Filter结构中流数信息不做修改，并将该新流信息转由基于哈希链表的超点过程处理；如果在哈希链表结构中查找到该报文所对应的超点信息，则直接将该超点的流数信息累加，否则如果该报文对应的超点在哈希链表数据结构中没有记录，则在哈希链表数据结构中增加该超点信息，将其流数的初始值设置为超流检测阀值加1；测量时间结束后，将哈希链表中的超点信息输出。

3.根据权利要求1或2所述基于Bloom Filter的超点实时检测方法，其特征是具体技术步骤如下：

第1步：设置参数

设置Bloom Filter中需要使用的哈希函数个数为k个，分别对应的k个哈希函数为h₁()、h₂()、…、h_k()，这k个哈希函数的输入是网络流标识，输出是一个长度为n个比特的哈希值；设置Bloom Filter比特向量大小m，其中m＝2ⁿ，n是哈希函数输出哈希值的比特长度；

设置计数型Bloom Filter中需要使用的哈希函数个数为b个，分别对应的b个哈希函数为h’₁()、h’₂()、…、h’_b()，这b个哈希函数的输入是聚合点标识，输出是一个长度为d个比特的哈希值；设置计数型Bloom Filter比特向量大小a，其中a＝2^d，d是计数型Bloom Filter所对应b个哈希函数输出哈希值的比特长度；设置计数型Bloom Filter向量每个位为e个比特，设置超点判断阀值为r，其中设置的阀值r需要小于2^e，e为计数型Bloom Filter向量中每个位的比特数；

设置超点哈希链表结构中指针数组所使用的哈希函数为h”()，哈希函数h”()的输入为超点标识，输出为q比特长度的哈希值；设置一个指向超点结点的指针数组大小为w，其中w＝2^q；设置超点结点由超点标识、超点流数和指向下一个超点结点的指针等三个字段构成；

设置测量开始时间begintime和测量结束时间endtime；

第2步：设置各结构初始值

设置Bloom Filter比特向量中的所有m个位置初始值为0；

设置计数型Bloom Filter比特向量中所有a个位置的初始值为0；

设置超点哈希链表结构中指向超点结构的指针数组的所有w个位置初始值为空指针；

第3步：测量时间结束判断

如果当前时钟已经等于或大于测量结束时间endtime，则将哈希链表中的超点结点信息输出；否则，等待报文到达测量器，如果一个报文到达测量器，进入第4步；

第4步：基于Bloom Filter的新流判断

设该报文所对应的网络流标识为A，使用Bloom Filter所对应的k个哈希函数计算网络流标识A的哈希值，h₁(A)、h₂(A)、…、h_k(A)，如果这k个哈希值对应的Bloom Filter结构中的值均为1，则这个报文的流已经被记录过，回到第3步；如果这k个哈希值对应的Bloom Filter结构中的值至少有1个位置上为0，则这个报文的流是一个新流，将这k个哈希值对应的Bloom Filter结构中的值全部赋值为1，进入到第5步；

第5步：基于计数型Bloom Filter的超点判断

设该报文所对应的聚合点标识为B，使用计数型Bloom Filter所对应的b个哈希函数计算聚合点标识B的哈希值，h’₁(B)、h’₂(B)、…、h’_k(B)，查找这b个哈希值对应位置的计数型Bloom Filter结构中的最小值，如果这个最小值小于超点定义的阀值，则将这b个哈希值对应位置的计数型Bloom Filter结构中等于最小值的值累加1，回到第3步；如果这个最小值等于或大于超点定义的阀值，进入到第6步；

第6步：基于哈希链表的超点信息记录

设该报文所对应的超点标识为B，使用哈希链表所对应的哈希函数计算超点标识B的哈希值，h”(B)，查找哈希值对应位置指针数组的指针，如果这个指针指向的链表中查找到该超点的结点记录，则将该超点结点记录中的流数字段值累加1，回到第3步；如果在这个指针指向链表中没有该超点的结点记录，则进入第7步；

第7步：生成新的超点结点记录

在内存中为超点结构分配一个结点空间，该结点空间中内容包括该超点标识、超点的流数和指向下一个超点的指针，设置这个超点结点的超点标识字段为超点标识，将其流数字段的初始值设置为超流检测阀值加1，设置超点结点中的指向下一个结点的指针设置为空；将该超点哈希值所对应哈希链表指针数组的超点结点链表中的最后一个结点的指针指向这个新的超点结点；回到第3步。