[发明专利]一种基于局部性优化的重复数据检测方法

摘要

本发明公开了一种基于局部性优化的重复数据检测方法，属于计算机存储技术领域，解决现有重复数据检测方法中检测效率低下的问题，以适应因存储数据规模扩大，而导致重复数据检测效率降低的现状。本发明包括布隆过滤器检测、哈希桶写缓存检测、哈希桶读缓存检测、哈希桶地址表检测步骤。本发明主要针对局部性较强的数据集类型，通过挖掘数据集中的局部性，提高数据预取的效率，降低磁盘访问开销，提升数据去重的吞吐率。对于数据集中可能的重复数据，本发明首先利用布隆过滤器对数据块的重复性进行预判，接下来根据不同的条件分别对缓存区的热区及冷区及磁盘进行三级重复数据的检测，充分利用重复数据中的局部性，提升重复数据的检测效能。

主权项

1.一种基于局部性优化的重复数据检测方法，其特征在于，包括以下步骤：(1)获取指纹列表文件，从该指纹列表文件中获取部分指纹并存储在缓存中，从缓存中提取一个指纹；(2)在布隆过滤器中查询是否可能记录有提取到的该指纹，如果可能记录有，则转入步骤(4)，否则转入步骤(3)；(3)将该指纹插入到布隆过滤器及哈希桶写缓存中，并从缓存中提取下一个指纹，并返回步骤(2)；其中将该指纹插入到布隆过滤器及哈希桶写缓存中具体为：(a)计算k个独立哈希函数的值hash_i(X)，并将对位向量中偏移量为hash_i(X)的比特位单元置1，其中k为哈希函数个数，1≤i≤k；(b)轮流检测哈希桶写缓存中的两条哈希桶列表，判断某条列表中是否有未满的桶，当发现未满桶时，将指纹存入首个未满桶，此时该哈希桶被称为热桶，并将该指纹和该哈希桶的哈希桶ID写入哈希桶地址表中；如果发现某条列表中所有哈希桶都已装满，则将该列表锁定，并将该列表中的所有哈希桶写入磁盘中，写完成后对该列表进行清空和解锁的操作，其中对列表进行清空操作就是将该列表中的所有哈希桶清空，并为每个哈希桶分配新的哈希桶ID；如果两条列表中所有桶都已经装满，则指纹插入操作必须等待某条列表写入完成并清空后再执行插入操作；(4)判断哈希桶读缓存的热区中是否记录有该指纹，如果有则从缓存中提取下一个指纹，并返回步骤(2)，否则转入步骤(5)；(5)判断哈希桶写缓存的热桶中是否记录有该指纹，如果有则从缓存中提取下一个指纹，并返回步骤(2)，否则转入步骤(6)；(6)根据指纹查找哈希桶地址表，以判断能否获取到对应的哈希桶ID，如果获取不到则认定该指纹为新指纹，从缓存中提取下一个指纹，并返回步骤(2)，如果能获取到则转入步骤(7)；(7)根据获取的哈希桶ID遍历哈希桶读缓存的冷区中的所有哈希桶，以判断是否有与该哈希桶ID对应的哈希桶，如果有对应的哈希桶，则在该哈希桶中查找该指纹，从缓存中提取下一个指纹，并返回步骤(2)，否则将该哈希桶ID对应的哈希桶从磁盘中插入到哈希桶读缓存的热区中的首个哈希桶中，并在插入后的哈希桶中查找该指纹，如果查找到则说明该指纹是现有指纹，如果查找不到则说明该指纹是新指纹，然后从缓存中提取下一个指纹，并返回步骤(2)；其中哈希桶读缓存在逻辑上由两部分构成，前面多个节点为热区部分，而后边到尾节点之间的部分为冷区。