[发明专利]使用索引划分和协调来进行数据去重复

摘要

本发明涉及使用索引划分和协调来进行数据去重复。所公开的主题涉及将散列索引服务的索引划分为子空间索引的数据去重复技术，其中少于整个散列索引服务的索引被高速缓存以节省存储器。该子空间索引被访问以确定数据块是否已经存在或需要被索引和存储。可基于与要索引的数据相关联的准则(诸如文件类型、数据类型、最后使用时间等)将该索引分成各个子空间。还描述了子空间协调，其中检测子空间中的重复条目以从该去重复系统中移除条目和块。子空间协调可在非高峰时间、当更多系统资源可用时执行，而如果需要资源则可中断协调。要协调的子空间可以基于相似度，包括签名的相似度，每个签名紧凑地表示该子空间的散列。

主权项

一种用于数据去重复的方法，包括：将与子空间相关联的子空间索引(P₁‑P_m)从辅助介质加载到主存储器高速缓存中，所述子空间索引包括的索引条目少于散列索引服务(116)的所有索引条目；基于签名相似度将所述子空间与另一子空间进行协调以移除所述子空间与所述另一子空间之间的至少一个重复的索引条目，包括使用相似性度量来确定所述子空间和所述另一子空间之间的签名相似度；以及使用所述子空间索引来对数据进行去重复，包括将所述数据分块(504)为一个或多个块，以及对于每个块，确定(510)为所述块计算的散列值是否与所述主存储器高速缓存中的索引条目的散列值相匹配，并且如果不匹配，则存储(518)所述块并与对所述块的引用相关联地将对应于所述散列值的索引条目添加(518)到所述子空间索引中，而如果匹配，则返回(512)能够用于定位现有的块的信息。