[发明专利]使用索引划分和协调来进行数据去重复

说明书

本发明涉及使用索引划分和协调来进行数据去重复。所公开的主题涉及将散列索引服务的索引划分为子空间索引的数据去重复技术，其中少于整个散列索引服务的索引被高速缓存以节省存储器。该子空间索引被访问以确定数据块是否已经存在或需要被索引和存储。可基于与要索引的数据相关联的准则(诸如文件类型、数据类型、最后使用时间等)将该索引分成各个子空间。还描述了子空间协调，其中检测子空间中的重复条目以从该去重复系统中移除条目和块。子空间协调可在非高峰时间、当更多系统资源可用时执行，而如果需要资源则可中断协调。要协调的子空间可以基于相似度，包括签名的相似度，每个签名紧凑地表示该子空间的散列。

技术领域

本发明涉及使用索引划分和协调进行数据去重复。

背景技术

数据去重复(有时也称为数据优化)指的是减少需要被存储在磁盘上或通过网络进行传送的数据的物理字节量，而不会损害原始数据的保真性和完整性，即字节上的减少是无损的并且原始数据可被完全恢复。通过减少存储和/或传送数据所需的资源，数据去重复因此导致(用于存储和网络传输的)硬件成本以及数据管理成本(例如，备份)的节约。随着数字存储的数据的数量增长，这些成本节约变得重要。

数据去重复通常使用用于消除持久存储的文件内部及其之间的冗余性的技术的组合。一种技术用于标识一个或多个文件中的数据的相同区域，并在物理上只存储一个唯一区域(块)，而与文件相关联地维持对该块的指针。另一技术是例如通过存储经压缩的块来将数据去重复与压缩混合。

为了标识这些块，存储这些块的服务器维持在该系统中这些块的散列的散列索引服务。散列不具有位置性(locality)，即，同一个文件中的各块的块散列是不相关的，对于给定块的内容的任何编辑创建非常不同的(不相关的)散列值。因此，传统的数据库技术，诸如B树索引，导致索引服务较差的性能。在存储器中维持整个索引提供较好的性能，但是耗费太多资源。服务器存储器资源为其他服务器应用(如，在主数据去重复情形中)所需要，且用于高速缓存。

之前的面向备份的数据去重复优化依靠前瞻高速缓存(look-ahead cache)来减少在服务器上访问该索引所使用的资源量。然而，数据去重复不再受限于数据备份的情形，且发展为像其他存储器设备那样被用作被访问的主数据存储器群集。仅使用前瞻高速缓存来减少资源使用并不是适当的解决方案。

发明内容

提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些代表性概念。本发明内容不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。

简言之，此处所描述的主题的各方面涉及去重复技术，通过该去重复技术将散列索引服务的索引划分为各个子空间索引，以使得一次将少于散列索引服务的所索引的数据集的整个范围加载到存储器中，从而节省可用存储器。

当要被去重复的数据被接收并分块(chunk)，并且有可能还被压缩时，子空间索引确定对该块计算的散列值是否与主存储器(例如，RAM)高速缓存中的条目的散列值相匹配。如果是，则返回可用于定位现有块的信息，否则该块作为新块存储在块存储中，并且对应于该散列值的条目与对该块的引用相关联地被添加到该子空间索引。

在一方面，可基于一个或多个准则来将散列索引服务划分成多个子空间索引，该准则可与要被去重复的数据如何划分相对应。示例分割/划分准则包括数据的文件类型、数据类型、位置、创建该数据的应用、文件使用模式数据、文件访问模式数据、文件所有者、文件用户类型、名字空间、文件内容、文件元数据、学习到的准则或自适应准则、或可被推断为该文件的特征的任何其他类型的信息、以及这些的任何组合。