[发明专利]一种基于哈希指纹的布鲁姆过滤器

说明书

一种基于哈希指纹的布鲁姆过滤器，该基于哈希指纹的布鲁姆过滤器通过如下方式形成：将计数型布鲁姆过滤器的结构分隔成若干子布鲁姆过滤器；将每一维子布鲁姆过滤器再次分隔成若干个桶；之后引入哈希指纹方法，使每个桶的存储单元通过对应哈希函数计算得到。本发明提出的基于哈希指纹的布鲁姆过滤器实现了集合元素的简洁存储、快速查询。使得该基于哈希指纹的布鲁姆过滤器(HFBF)具有较低错误概率和计算复杂度的同时，也能保持较高的空间利用率。

技术领域

本发明涉及空间高度复用的概要数据结构布鲁姆过滤器，更具体地，特别是指一种基于哈希指纹的布鲁姆过滤器。

背景技术

随着互联网规模的不断扩大、用户数量的快速膨胀、业务环境的日趋复杂，共享数据规模呈现几何增长，给网络资源的存储、访问、交互以及管理带来了巨大的挑战。如何快速表示和查询大规模数据、有效提取和存储内容概要信息是网络和分布式系统资源共享的关键，也一直是国内外学术界的研究热点。

布鲁姆过滤器(Bloom Filter)是一种空间高度复用的概要数据结构 (SynopsisData Structure)，支持集合元素表示和查询，广泛应用于P2P网络、流量测量以及分布式系统中，能够满足高速网络发展中的资源交互需求。

布鲁姆过滤器采用一个位串向量表示，既能支持集合元素的表示和查询，又能有效地过滤不属于集合的元素。其算法结构的实质是将集合中的元素通过k个哈希函数映射到位串向量中，一个元素仅占用k个比特位。与传统的存储和查询算法(如：树型查询算法)相比较，布鲁姆过滤器所需空间与元素的自身大小无关，仅与元素映射到的向量位数有关，大大节约了存储空间。同时，该结构还具有计算复杂度低、并行程度高等优势，使之特别适合于硬件实现。因此，Bloom Filter具有很好的实用价值。

近年来，随着覆盖网和P2P网络的广泛应用，布鲁姆过滤器算法在网络领域得到了广泛应用，包括：

(1)P2P网络节点协作交互。在P2P网络中，Bloom Filter主要用于汇总网络节点的资源信息，并形成一个比特向量。系统中的每个节点拥有若干个这样的汇总向量，每个向量代表着该节点某个搜索方向上拥有的信息集合。当节点处理某个定位对象的请求时，通过查询这些向量，能够选择出最佳的搜索方向，从而避免了盲目搜索的低效性。

(2)高速IP互联网流量测量。Abhishek KumarJun(Jim)Xu在其论文 Space-CodeBloom Filter for EfficientPer-Flow Traffic Measurement中将空码布鲁姆过滤器(Space-code Bloom Filter)用于高速骨干网的逐流流量测量。C.Estan在其论文NewDirections in TrafficMeasurement and Accounting中应用多级布鲁姆过滤器(Multistage Filters)进行大流检测。电子学报“高速网络超链接主机检测中的流抽样算法研究”基于Bloom Filter数据结构提出了一种IP流的抽样方法，该方法具有10G的处理能力和较小的空间复杂度。Heeyeol Y,Mahapatra R在其论文A memory-efficienthashingby multi-predicate Bloom filters for packet classification中应用BloomFilter进行报文分类，提高了报文处理的并行速度。

(3)资源路由，利用Bloom Filter记录相邻节点组或节点生成树上的资源信息，通过一个多级的Bloom Filter结构存储资源的路由分级信息，进而快速定位最短路径路由并确定到达目的节点的跳数。

(4)分组路由，又名数据帧路由标签，基于Bloom Filter表示的路由标签信息封装在IP报文字段中，来判断数据帧是否经过重复的路由器，弥补了传统网络设计中仅通过TTL控制路由环路的缺陷。