[发明专利]一种高速网络大象流精确测量方法及装置

说明书

本发明公开了一种高速网络大象流精确测量方法及架构，方法包括：S100、接收网络数据包，解析首部重要字段并提取流关键字；S200、设置基于Sketch的过滤器，计算网络数据包在过滤器中的映射位置，若映射位置对应的计数器值不小于过滤阈值，进入步骤S300；S300、设置基于Cuckoo哈希的提取器，在提取器中设置有投票流信息，投票流信息包括连接签名值、正票数和反票数，将网络数据包输送至提取器中，根据哈希函数和投票流信息对大象流进行测量和替换。基于Sketch的过滤器，能够对数据包中的老鼠流进行过滤，以降低后续的计算和空间开销，提高后续大象流测量的准确率；基于Cuckoo哈希的提取器，能够降低大象流被踢除的概率，既节省了存储资源又提高了大象流测量的准确率。

技术领域

本发明涉及计算机网络技术领域，特别涉及一种高速网络大象流精确测量方法及架构。

背景技术

随着网络终端的不断增多和网络应用的日益丰富，网络链路带宽和网络流量持续增长，这给网络流量测量在计算和存储资源受限的情况下带来了巨大的挑战。因此，需要采取一些可行的措施，既能够对网络流量数据进行缩减，又能够保留网络流量数据的特征信息。根据网络流量测量的应用需求，数据缩减技术主要分为抽样和数据流两种。利用抽样技术只对部分有代表性的网络流量数据进行采集处理，虽然降低了资源开销，但却存在较大的误差；利用数据流技术对所有网络流量数据进行处理，有效地减少存储资源的需求，同时保持一定的准确性。精确测量大象流是一项极为关键的网络测量任务，其在拥塞控制、流量工程和异常检测中有着广泛的应用。目前，大象流测量主要采用Sketch等数据结构，但由于存在哈希冲突，常常使得老鼠流误判成大象流，严重影响大象流测量的准确率。因此，如何准确测量大象流成为了网络测量领域中亟待解决的一个关键问题。

Sketch是基于哈希的数据结构，通过设置哈希函数，将具有相同哈希值的键值数据存入相同的哈希桶内，以减少空间开销。哈希桶内的数据值作为测量结果，是真实值的近似估计。Sketch通过牺牲一定的准确性来达到较小的空间消耗和极快的常数级处理时间，从而使得其能很好地适应庞大的网络流量，以达到测量流大小的目的。通常利用开辟二维地址空间，多重哈希等技术减少哈希冲突，从而提高测量结果的准确度。如附图1所示，最小计数Sketch(Count-Min Sketch， CM Sketch)是一种典型的Sketch。CM Sketch由d个数组组成，每个数组有w 个计数器和一个对应的独立的哈希函数。在插入元素时，对于每个计数器数组，用对应的哈希函数将元素映射到该数组中的一个计数器，然后将这个计数器值加1。而查询时，对每个数组分别询问，得到每个数组中该元素对应的计数器的值，最终输出这些值中的最小值。

目前，弹性Sketch(Elastic Sketch)是一种高效的网络测量方案，能够较好地测量网络中的大象流。如附图2所示，其架构由两部分组成：大流部分(Heavy part)和小流部分(Light part)。大流部分使用哈希数组记录流的相关信息，每个哈希桶中存有：流关键字(fid)，正票(vote⁺)，标志位(flag)，反票(vote^-)。流关键字唯一标识网络中的一条流，可从数据包的五元组中提取；正票指属于该流的数据包数量，即流大小；反票指映射至同一个哈希桶的其他数据包的数量；标志位表示小流部分是否含有此流。小流部分使用CM Sketch统计从大流部分踢除的小流。

给定一个流关键字为f的数据包，通过哈希函数将其映射至哈希桶中。假设哈希桶中记录的流信息为(f',vote⁺,flag₁,vote^-)，如果f＝f'，则将正票数加1；反之，将反票数加1，并根据反票数与正票数的比值来决定是否踢出f'。具体来说，有3种情况：

(1)当哈希桶为空时，将(f,1,F,0)插入(图2中f₅)，F表示小流部分无此流，插入结束。

(2)当f＝f'时，将正票数加1(图2中f₁)，插入结束。