[发明专利]一种基于相似性的重复数据删除方法和系统

说明书

公开了一种基于相似性的重复数据删除方法，包括以下步骤：接收输入数据块；根据所述输入数据块计算离散小波变换(discrete wavelet transform，简称DWT)系数；从计算得到的DWT系数中提取特征相关的DWT数据；对所述提取的特征相关的DWT数据进行量化以获得密钥作为量化结果；根据所述密钥构建所述输入数据块的局部敏感指纹；计算所述输入数据块的所述局部敏感指纹和超速缓存内存中多个数据块中的每个数据块的局部敏感指纹之间的相似度；选择最优参考数据块，例如在所述超速缓存内存中的所有数据块中与所述输入数据块具有最大相似度的数据块；根据所述输入数据块与所述最优参考数据块之间的相似度确定是否需要差分压缩；如果需要差分压缩，则对所述输入数据块和所述最优参考数据块进行差分压缩。还提供一种基于相似性的重复数据删除系统。

技术领域

本发明涉及一种基于相似性的重复数据删除方法和一种基于相似性的重复数据删除系统。本发明还涉及一种存储程序代码的计算机可读存储介质，所述程序代码包括用于执行该方法的指令。

背景技术

传统的基于身份的重复数据删除是一种用于删除重复数据的重复副本的技术，可以应用于存储系统以提高存储利用率，也可应用于网络数据传输以提高吞吐量。典型的重复数据删除过程需要搜索重复的数据块。就存储系统而言，传统的重复数据删除技术可以通过用系统中已存储数据的相同部分的硬链接替换数据的重复部分来节省空间。处理小块数据时，硬链接等技术可以提供良好的空间增益。

传统的基于身份的重复数据删除技术的缺点之一是只能搜索到精确匹配的数据块。对于备份应用程序，这意味着，如果数据块稍加修改，那么重复数据删除系统将无法找到该数据块的匹配数据。因此，对于某些数据来说，即使数据块之间存在许多相似性，基于身份的重复数据删除的优势也可能并不十分显著。

重复数据删除系统的另一个典型要求是动态的重复数据删除，即能够实时为给定的输入数据块找到相似的数据块。只有在确定输入数据块是否类似于之前备份的另一个数据块(通常保存在高速缓存中)后才能够足够迅速地实现实时的重复数据删除。为了实现实时的重复数据删除，传统的基于身份的重复数据删除方法通常需要大容量的内存缓存来提供良好的压缩率，因此并不适用于内存有限的情况。

发明内容

本发明的目的在于提供一种基于相似性的重复数据删除方法和一种基于相似性的重复数据删除系统，用于解决适用于基于相似性的重复数据删除的局部敏感哈希(locality-sensitive hashing，简称LSH)方法的选择问题。所述基于相似性的重复数据删除方法和所述基于相似性的重复数据删除系统克服了现有技术中的一个或多个上述提到的问题。局部敏感哈希方法具有高速计算和高相似性检测速率的优点，且需要少量内存用于高速缓存。

以上和其他目的通过独立权利要求的特征来实现。进一步的实现形式从独立权利要求、说明书和附图中显而易见。

本发明第一方面提供一种基于相似性的重复数据删除方法，其特征在于，包括以下步骤：接收输入数据块；根据所述输入数据块计算离散小波变换(discrete wavelettransform，简称DWT)系数；从计算得到的DWT系数中提取特征相关的DWT数据；对所述提取的特征相关的DWT数据进行量化以获得密钥作为量化结果；根据所述密钥构建所述输入数据块的局部敏感指纹；计算所述输入数据块的所述局部敏感指纹和超速缓存内存中多个数据块中的每个数据块的局部敏感指纹之间的相似度；选择最优参考数据块，例如在所述超速缓存内存中的所有数据块中与所述输入数据块具有最大相似度的数据块；根据所述输入数据块与所述最优参考数据块之间的相似度确定是否需要差分压缩；如果需要差分压缩，则对所述输入数据块和所述最优参考数据块进行差分压缩。差分压缩代表一种允许两个文件的内容仅通过传达其差异进行同步的算法。具体而言，差分压缩是计算两个二进制数据块之间的差值的无损压缩方法。与使用精确匹配搜索的传统的基于身份的重复数据删除相比，差分压缩的压缩率更高。

第一方面的基于相似性的重复数据删除方法允许在平衡时间复杂度和相似性检测质量的同时降低内存消耗。