[发明专利]一种流式重复数据检测方法

摘要

本发明提供了一种流式重复数据检测方法，通过构建一个计时型布隆过滤器阵列TBFA，在滑动窗口模型内灵活高效地检测重复数据。TBFA由多个同构的计时型布隆过滤器TBF构成，每个TBF包含一个布隆过滤器和一个分离的用于保存时间戳的计时器组，整个TBFA以一种循环先入先出队列的方式工作，在记录新元素的同时，淘汰已经移出数据流监控窗口的旧元素。本发明在滑动窗口模型下工作，对元素的监测可以精确到一个元素，从而使基于本发明的统计结果具有稳定性，另外TBFA中的部分计时器组可以被卸载到磁盘中，从而减少内存开销。理论分析和实验数据表明，DCBA在加载10%以内数据内容到内存的情况下，能够保持95%以上的查询效率，从而使本发明在空间效率和可扩展性上优于现有技术方案。

主权项

一种流式重复数据检测方法，涉及由多个布隆过滤器TBF在逻辑上构成的循环先入先出队列，将逻辑上从队首到队尾的TBF依次计为TBF1，TBF2，…，TBFg，g为TBF的个数，每个TBF包含一个位向量BV和k个哈希函数，每个位向量关联一组计时器TA，位向量用于插入数据元素，计时器数用于记录插入数据元素时的时间戳，该检测方法具体为：(1)插入数据元素x：采用所述k个哈希函数分别对数据元素x进行计算得到k个哈希值h1(x)，h2(x)，...，hk(x)，将处于队尾的TBFg中偏移量为h1(x)，h2(x)，...，hk(x)的k个位的值分别置1，同时启用这k个位关联的计时器记录置1时的时间戳；若TBFg此时已装满数据元素，则清空处于队头的TBF1并将其摘下置为队尾；(2)检测数据元素x是否为重复数据：(21)在TBF1，TBF2，…，TBFg‑1中查询是否存在一个TBF，其偏移量为h1(x)，h2(x)，...，hk(x)的k个位的值全为1，若存在，则说明该TBF插入过数据元素x，进入步骤(22)，否则，x不为重复元素；(22)判断插入过数据元素x的TBF是否是TBF1，若不是TBF1，则表明x为重复元素，若是TBF1，则进入步骤(23)；(23)查询TBF1插入x时的时间戳是否小于TBFg插入x的时间戳，若小于，则表明x逻辑上已被TBF1删除，x不为重复元素；否则，表明x为重复元素。