[发明专利]一种基于布鲁姆过滤器的数据块快速比较系统

说明书

技术领域

本发明涉及一种数据块快速比较技术，具体地说是一种基于布鲁姆过滤器的数据块快速比较系统。

背景技术

在重复数据删除系统中，数据块比较是使用频度最高的操作，因为重复数据删除的最重要的工作就是将数据块与数据池中的所有数据块相比较，以判断其是否已存在于数据池中，若数据块已存在，则可方便的将数据块删除，并保留一个指向数据池中相同数据块的指针，若数据块不存在，则将数据块插入数据池中。

传统的数据块比较方法，一般采用数据块HASH散列标识的方式，即为数据池中的每个数据块都保留一个唯一的HASH散列。比较数据块时先计算数据块的HASH散列标识，然后与数据池中的数据块相比较，以判断数据块是否存在于存储池中。但是这种HASH散列标识查询的复杂度一般是线性的或是对数阶的，也就是说，当数据池的规模增大时，数据块的比较效率也会逐渐降低，在大规模的重复数据删除系统中，这将对系统性能造成极大影响，导致系统运行效率的降低。

因此，如何使用一种数据块的快速比较技术，使数据块的比较效率与数据池的规模无关，提高大规模系统的运行效率，是重复数据删除系统所面临的主要问题。

发明内容

本发明的技术任务是提供一种利用Bloom Filter查询一个数据块是否存在于包含大量数据块的数据池中，将大量的查询比较操作替换为计算操作的一种基于布鲁姆过滤器的数据块快速比较系统。

本发明的技术任务是按以下方式实现的，包括数据块比较接口模块、Bloom Filter数据块比较模块、数据块查询比较模块、Bloom Filter元数据记录模块和数据池元数据记录模块；数据块比较接口模块连接Bloom Filter数据块比较模块，Bloom Filter数据块比较模块连接数据块查询比较模块、Bloom Filter元数据记录模块和数据池元数据记录模块，数据块查询比较模块连接数据池元数据记录模块。

数据块比较接口模块提供数据块比较的访问接口，将传入的待比较的数据块生成数据块标识，并将数据块标识传入Bloom Filter数据比较模块；BloomFilter数据块比较模块负责利用Bloom Filter进行数据块的比较，可调用BloomFilter元数据记录模块，查询相应的Bloom Filter标识是否在Bloom Filter元数据中置位，也可调用数据池元数据记录模块，将数据块标识插入数据池元数据，还可调用数据块查询比较模块，重新进行数据块比较；数据块查询比较模块负责利用数据块标识进行数据块的比较，可调用数据池元数据记录模块，查询数据块标识是否存在于数据池元数据中；Bloom Filter元数据记录模块以数据位的形式存储数据池中各数据块的Bloom Filter标识，提供Bloom Filter标识的查询、添加与删除接口；数据池元数据记录模块存储数据池中各数据块的数据块标识，提供数据块标识的查询、添加与删除接口。

利用Bloom Filter进行待比较数据块与数据池中所有数据块的快速比较，将大量的查询比较操作替换为计算操作，在数据块Bloom Filter标识在BloomFilter元数据中置位的情况下，需要利用查询方式重新对数据块进行比较。

数据块比较流程为：

(1)、数据块比较接口模块提供数据块比较的访问接口，将传入的待比较的数据块生成数据块的唯一HASH散列，作为数据块标识；

(2)、数据块比较接口模块将数据块标识传入Bloom Filter数据比较模块，Bloom Filter数据比较模块通过使用多个HASH函数，生成数据块的多个HASH散列，作为数据块的Bloom Filter标识；

(3)、Bloom Filter数据块比较模块调用Bloom Filter元数据记录模块的接口，查询相应的Bloom Filter标识是否已在Bloom Filter元数据中置位；

(4)、如果未在Bloom Filter元数据置位，则表明数据块不存在于数据池中，则将Bloom Filter标识在Bloom Filter元数据记录模块中置位，并调用数据池元数据记录模块的接口，将数据块标识插入数据池元数据，并返回数据块不存在；

(5)、若已在Bloom Filter元数据中置位，则调用数据块查询比较模块，重新进行数据块比较；