[发明专利]一种高精度多维计数布鲁姆过滤器及其大数据处理方法

摘要

本发明公开了一种高精度多维计数布鲁姆过滤器及其大数据处理方法，在高精度多维计数布鲁姆过滤器中存储一定规模或具有相应特性的多维属性数据集；读取需要处理的多维属性大数据集；进行高精度多维计数布鲁姆过滤器处理，包括多维元素查询和更新等；输出经过处理后的多维属性数据集。本发明大大减少误判发生的几率，处理精度大幅度提高。通过本发明提供的大数据处理方法，更迅速地完成数据的价值“提纯”，快速有效地对大数据进行加工处理，让数据产生经济和社会价值。本发明广泛应用于分布式系统、网络等领域内大数据处理。

主权项

一种高精度多维计数布鲁姆过滤器，其特征在于，由用于存储多维元素各个属性的基于分层结构的高精度计数布鲁姆过滤器和用于存储元素整体信息的联合计数布鲁姆过滤器组成；所述基于分层结构的计数布鲁姆过滤器由空间不等的多层bit位组成，即L1，…，LN，其中第1层L1长度固定，其值为4m‑kn；第2层L2长度等于L1层中bit位为1的个数，第3层长度等于第2层中bit位为1的个数，以此类推；其中，m为标准计数布鲁姆过滤器中的计数器个数，N为高精度计数布鲁姆过滤器的层数，k为高精度多维计数布鲁姆过滤器采用的哈希函数的个数，n为存入高精度多维计数布鲁姆过滤器中元素的个数。