[发明专利]一种滑动窗口下多维数据重复检测快速索引方法

摘要

本发明涉及一种滑动窗口下多维数据重复检测快速索引方法。该方法采用压缩计数型布隆过滤器矩阵数组来维护滑动窗口内的数据项，在滑动窗口内维护多个子窗口，队首子窗口以滑动方式接收新元素，队尾子窗口以滑动方式淘汰老元素；每个独立子窗口由一个计数型布隆过滤器矩阵组成，计数型布隆过滤器矩阵具备面向多维数据的维度删减能力，并且其内部维护计数器单元。通过对所有计数型布隆过滤器矩阵均采用相同的设计容量并共享同一组k个哈希函数，能够有效提升重复元素检测效率；通过在计数器单元中维护系统基础时钟，能够有效支持滑动窗口的元素隐式删除；通过矩阵方式维护多维数据，有效降低多维数据的组合误差率，降低整体误判率。

主权项

1.一种滑动窗口下多维数据重复检测快速索引方法，其步骤包括：/n1)在滑动窗口内维护多个子窗口，所有子窗口以先入先出的方式维护流经的数据项，队首子窗口以滑动方式接收新元素，队尾子窗口以滑动方式淘汰老元素；/n2)通过压缩计数型布隆过滤器矩阵数组索引结构维护滑动窗口内的数据项，所述压缩计数型布隆过滤器矩阵数组由一组同构的计数型布隆过滤器矩阵构成，每个计数型布隆过滤器矩阵维护滑动窗口的一个独立子窗口的所有维度数据；/n每个计数型布隆过滤器矩阵由若干计数器单元构成，计数器单元的位宽d＝log₂(N/g)，其中N为滑动窗口的总元素容量，g为滑动窗口内的子窗口个数，N/g为每个子窗口的设计容量；/n所有计数型布隆过滤器矩阵均采用相同的设计容量并共享同一组k个哈希函数；/n在计数型布隆过滤器矩阵的计数器单元中维护系统基础时钟，用以进行滑动窗口内元素的隐式删除操作；/n所述计数型布隆过滤器矩阵通过矩阵方式维护多维数据，有效降低多维数据的组合误差率。/n