[发明专利]使用索引划分和协调来进行数据去重复

权利要求书

1.一种用于数据去重复的方法，包括：

将与子空间相关联的子空间索引(P₁-P_m)从辅助介质加载到主存储器高速缓存中，所述子空间索引包括的索引条目少于散列索引服务(116)的所有索引条目；

基于签名相似度将所述子空间与另一子空间进行协调以移除所述子空间与所述另一子空间之间的至少一个重复的索引条目，包括使用相似性度量来确定所述子空间和所述另一子空间之间的签名相似度；以及

使用所述子空间索引来对数据进行去重复，包括将所述数据分块(504)为一个或多个块，以及对于每个块，确定(510)为所述块计算的散列值是否与所述主存储器高速缓存中的索引条目的散列值相匹配，并且如果不匹配，则存储(518)所述块并与对所述块的引用相关联地将对应于所述散列值的索引条目添加(518)到所述子空间索引中，而如果匹配，则返回(512)能够用于定位现有的块的信息。

2.如权利要求1所述的方法，其特征在于，还包括：将另一子空间索引的至少一部分加载到所述主存储器高速缓存中，或者基于一个或多个准则将所述散列索引服务划分为多个子空间索引，或者基于将要被去重复的数据的一个或多个准则将所述数据划分为多个数据集，以及将所述散列索引服务划分为与所述多个数据集相对应的多个子空间索引，或者以下各项的任何组合：将另一子空间索引的至少一部分加载到所述主存储器高速缓存中，或者基于一个或多个准则将所述散列索引服务划分为多个子空间索引，或者基于将要被去重复的数据的一个或多个准则将所述数据划分为多个数据集，以及将所述散列索引服务划分为与所述多个数据集相对应的多个子空间索引。

3.如权利要求1所述的方法，其特征在于，返回能够用于定位现有的块的信息包括返回块标识符，或返回所述散列值以及所述子空间的标识符，其中所述块标识符包括对与所述索引条目相关联的块的引用。

4.如权利要求1所述的方法，其特征在于，还包括：基于表示所述子空间的至少一个签名以及表示所述另一子空间的至少一个签名之间的相似度来选择要协调的所述另一子空间。

5.一种用于数据去重复的系统，包括：

用于将与子空间相关联的子空间索引(P₁-P_m)从辅助介质加载到主存储器高速缓存中的装置，所述子空间索引包括的索引条目少于散列索引服务(116)的所有索引条目；

用于基于签名相似度将所述子空间与另一子空间进行协调以移除所述子空间与所述另一子空间之间的至少一个重复的索引条目的装置，包括使用相似性度量来确定所述子空间和所述另一子空间之间的签名相似度；以及

用于使用所述子空间索引来对数据进行去重复的装置，所述对数据进行去重复包括将所述数据分块(504)为一个或多个块，以及对于每个块，确定(510)为所述块计算的散列值是否与所述主存储器高速缓存中的索引条目的散列值相匹配，并且如果不匹配，则存储(518)所述块并与对所述块的引用相关联地将对应于所述散列值的索引条目添加(518)到所述子空间索引中，而如果匹配，则返回(512)能够用于定位现有的块的信息。

6.如权利要求5所述的系统，其特征在于，还包括：用于将另一子空间索引的至少一部分加载到所述主存储器高速缓存中，或者基于一个或多个准则将所述散列索引服务划分为多个子空间索引，或者基于将要被去重复的数据的一个或多个准则将所述数据划分为多个数据集的装置，以及用于将所述散列索引服务划分为与所述多个数据集相对应的多个子空间索引的装置，或者用于以下各项的任何组合的装置：将另一子空间索引的至少一部分加载到所述主存储器高速缓存中，或者基于一个或多个准则将所述散列索引服务划分为多个子空间索引，或者基于将要被去重复的数据的一个或多个准则将所述数据划分为多个数据集，以及将所述散列索引服务划分为与所述多个数据集相对应的多个子空间索引。

7.如权利要求5所述的系统，其特征在于，用于返回能够用于定位现有的块的信息的装置包括用于返回块标识符，或返回所述散列值以及所述子空间的标识符的装置，其中所述块标识符包括对与所述索引条目相关联的块的引用。