[发明专利]基于数组链表的大流量网络地址前缀检测方法

说明书

技术领域

本发明涉及大流量地址检测方法，尤其是一种在高速网络流量检测中的基于数组链表的大流量网络地址前缀检测方法。

背景技术

大流量网络地址前缀是指流量大小超过指定阀值的IP地址前缀，大流量网络地址前缀信息能够为网络管理员提供有价值的报告，能反映出当前占据链路带宽的主要流量的概要信息。网络IP地址一共有32个字节，为了能够检测大流量网络地址前缀，需要按照网络地址前缀的32位长度分为32层进行分别流量聚类。

检测出大流量网络地址前缀的最简单的方法是首先按照每个IP地址的第一个比特进行聚类，IP地址的第一个比特只有0或1两种可能性，将第一个比特相同的所有IP地址流量聚类在一起，如果其流量大于或等于指定的大流量网络地址前缀阀值，则将相应的第一个比特以及其聚类流量输出。然后将每个IP地址按照前两个比特进行聚类，前两个比特具有4种可能的性，将前两个比特相同的所有IP地址流量聚类在一起，如果其流量大于或等于指定的大流量网络地址前缀阀值，则将相应的前两个比特以及其聚类流量输出。接着按照每个IP地址前3个比特进行聚类，将前三个比特相同的所有IP流量聚类在一起，如果有前3个比特相同的IP地址前缀的流量大于或等于指定的大流量网络地址前缀阀值，则将相应的前三个比特以及其聚类流量输出，一直将所有IP前4个比特、前5个比特、...、前31个比特相同的流量聚类，如果有流量大于或等于指定的大流量网络地址前缀阀值，则将相应的比特以及其聚类流量输出。检测所有IP地址的流量，如果某一个IP地址流量大于或等于指定的大流量网络地址前缀阀值，则将相应的IP地址以及其流量输出。

采用该方法，每个IP地址需要被聚类处理32次，处理效率非常低下，同时也需要近32倍IP地址流量的记录数。

考虑可以IP地址前缀关系可以表示成一个层次树关系，层次树的逻辑结构可以自然的用树来表达，层次树中的每个节点表示该维度上一个有意义的取值集合。根节点代表全集，它在该维度上聚合了全部流量；叶节点代表所有的独立取值，内部节点则是聚类的中间结果。如果两个节点之间存在集合包含关系，则其中的一个节点是另一个的祖先节点；否则它们不相连。检测大流量网络地址前缀的问题可以通过在内存中维护完整的层次树，然后遍历层次树从而找出所有流量超过阈值的前缀，这种方法对于取值空间相对很小的端口和协议号来说可以很简单的找出所有的重聚合点。但完整的IP地址空间大小有40Gb，不可能在内存中维护整个层次树。只能维护采集到的IP地址及其流量记录以形成部分层次树，接着遍历层次树聚类中间节点的流量最后找出所有的大流量网络地址前缀。

基于这个思想，按照前缀关系在内存中建立IP前缀的层次树；接着对这棵层次树进行后序遍历，将每个内部节点的两个子节点流量累加赋值给该内部节点，在遍历进行的过程中找出大流量网络地址前缀。算法定义IP前缀长度每层增加1比特，用二叉树来维护IP前缀之间的层次关系，一共32层。算法的空间开销主要来自于维护层次树的结点，时间开销来自于新结点的创建和计数器的更新。每层前缀长度增加1比特的层次树策略存储了任意前缀长度的流量，内部节点的数量较多。

这种方法的主要问题是建立大量的内部结点需要消耗了算法运行的大量时间，同时每次处理一个IP地址流量信息需要更新32个不同的结点；其次每个叶子结点对应一个IP地址，假设IP地址的数量为n，生成了一个完全二叉树，则其中间结点的数量为n-1，每个中间结点的需要两个指针和一个计数器，因此每层前缀长度增加一个比特的二叉树方法也需要更多的内存空间。

发明内容

本发明提出一种基于数组链表的大流量网络地址前缀检测方法，本发明能够支持大规模高速网络流量的大流量网络地址前缀检测。

本发明采用如下技术方案：