[发明专利]基于抽样和两级CBF的长流识别方法

说明书

本发明提供了基于抽样和两级CBF的长流识别算法，包括：对报文进行周期抽样；设定长流阈值，配置两级CBF结构参数；对于被抽样报文，通过第二级CBF判断其是否属于已识别出的长流，若属于，则将其插入，若不属于，再通过第一级CBF判断其所属流是否为长流，若为长流，则记录其流标识，并更新其在两级CBF中的记录，若不为长流，则将其插入第一级CBF；重复上述过程直至处理完所有被抽样报文后，通过第二级CBF对所有未被抽样的报文进行查询，若属于已识别出的长流，则将其插入，否则不做处理。本发明能在有效节省空间和时间资源的基础上，既实现对长流的准确识别，又实现对流长度的高精度测量。

技术领域

本发明属于网络流量测量技术领域，涉及一种长流识别方法，更为具体的说，是涉及一种基于抽样和两级Counting Bloom Filter的长流识别方法。

背景技术

高速网络运行速度的日益加快和流量数据的急速增加，使得对网络流量的精确测量越来越困难。许多研究表明，网络流的统计呈现很强的重尾分布特性，由于少量的长流占据了网络流量的大部分，多数情况下掌握长流信息即可满足实际应用需求，因此对长流的识别显得尤其重要。

目前已有的长流识别方法主要使用抽样技术、哈希技术以及Bloom Filter技术。单独使用抽样技术识别长流时，需要在识别的过程中维护流标识信息，会产生很大的计算开销，减慢系统处理速度；而单独使用哈希技术或Bloom Filter技术对链路上通过的所有报文进行处理时，会增大哈希冲突，影响测量结果的准确性。将抽样技术和哈希技术或Bloom Filter技术相结合可以有效解决只使用一种技术的弊端。与哈希技术相比，BloomFilter通过维护多个独立的哈希函数可以明显降低哈希冲突，且大大降低了为每个流维护流标识而带来的存储开销，改进结构之一Counting Bloom Filter更是可以对哈希到存储空间中的报文进行计数，当报文数超出阈值时即可将长流的流标识记录下来，因此将抽样技术和Counting Bloom Filter相结合可以更高效地实现长流识别。

现有的基于抽样和Counting Bloom Filter(CBF)的长流识别方法都普遍使用简单线性估计来估计原始长流中包含的报文数，存在一定的流长度测量误差，不能满足较高精度需求。

发明内容

为解决上述问题，本发明提供了一种基于抽样和两级Counting Bloom Filter的长流识别方法，基于报文抽样，并通过两级Counting Bloom Filter识别属于长流的报文。

为了达到上述目的，本发明提供如下技术方案：

基于抽样和两级CBF的长流识别方法，包括如下步骤：

步骤1，对观测时间内链路上通过的报文按抽样频率进行周期抽样；

步骤2，设定长流的阈值T，同时配置两级Counting Bloom Filter结构参数；

步骤3，对于每个被抽样的报文，先通过第二级Counting Bloom Filter判断其是否属于已识别出的长流，若属于已识别出的长流，则将其插入第二级Counting BloomFilter中，继续处理下一报文；若不属于已识别出的长流，则执行步骤4；

步骤4，通过第一级Counting Bloom Filter判断其所属流是否为长流，若为长流，则将该报文的流标识记录下来，并更新其在两级Counting Bloom Filter中的记录，继续处理下一报文；若不为长流，则执行步骤5；

步骤5，将报文插入第一级Counting Bloom Filter中，继续处理下一报文；

步骤6，重复步骤3-5完成对所有被抽样报文的处理后，通过第二级CountingBloom Filter对所有未被抽样的报文进行查询，若报文属于已识别出的长流，则将其插入第二级Counting Bloom Filter，否则不做任何处理。