[发明专利]一种基于相似性的重复数据删除方法和系统

权利要求书

1.一种基于相似性的重复数据删除方法，其特征在于，包括以下步骤：

接收输入数据块；

根据所述输入数据块计算离散小波变换DWT系数；

从计算得到的DWT系数中提取特征相关的DWT数据；

对所述提取的特征相关的DWT数据进行量化以获得密钥作为量化结果；

根据所述密钥构建所述输入数据块的局部敏感指纹；

计算所述输入数据块的所述局部敏感指纹和超速缓存内存中多个数据块中的每个数据块的局部敏感指纹之间的相似度；

选择最优参考数据块，在所述超速缓存内存中的所有数据块中与所述输入数据块具有最大相似度的数据块；

根据所述输入数据块与所述最优参考数据块之间的相似度确定是否需要差分压缩；

如果需要差分压缩，则对所述输入数据块和所述最优参考数据块进行差分压缩；

计算局部敏感指纹之间的相似度，包括：

从所述局部敏感指纹中重建DWT系数；

计算一系列重建的DWT系数之间的距离，其中，所述重建的DWT系数的每个系列由向量表示；

所述相似度与所述计算得到的距离相反。

2.根据权利要求1所述的方法，其特征在于，还包括，如果不需要差分压缩，则

根据所述输入数据块与所述最优参考数据块之间的相似度确定是否需要传统单块压缩；

如果需要传统单块压缩，对所述输入数据块进行传统单块压缩。

3.根据权利要求1所述的方法，其特征在于，所述计算局部敏感指纹之间的相似度还包括对所述重建的DWT系数进行反向离散小波变换以重建数据，计算一系列重建数据之间的距离。

4.根据权利要求1至3任一项所述的方法，其特征在于，预先计算所述超速缓存内存中的多个数据块的局部敏感指纹。

5.根据权利要求1至3任一项所述的方法，其特征在于，确定是否需要差分压缩，包括：

接收所述输入数据块与所述最优参考数据块之间的之前已计算的相似度；

将所述相似度与阈值进行比较；

如果所述相似度高于所述阈值，则确定需要差分压缩。

6.根据权利要求5所述的方法，其特征在于，所述阈值是预定义的或者是动态定义的，以调节要进行压缩的数据块的数量。

7.根据权利要求1至3任一项所述的方法，还包括，在计算所述DWT系数之前对所述输入数据块进行预处理，并对所述预处理得到的输入数据块进行小波变换以计算所述DWT系数，其中，对所述输入数据块进行预处理包括以下任意一种：计算所述输入数据块的n-gram的直方图、计算所述输入数据块的n-gram的缩减直方图、计算所述输入数据块的n-gram散列的直方图，或者计算所述输入数据块的n-gram散列的缩减直方图，其中，n-gram表示所述输入数据块的长度为n的连续序列，n≥1。

8.根据权利要求7所述的方法，其特征在于，将预处理的结果重新排序或分拣，并对重新排序或分拣后的预处理得到的输入数据块进行小波变换以计算所述DWT系数。

9.根据权利要求1至3任一项所述的方法，其特征在于，所述特征相关的DWT数据至少根据以下之一进行提取：前N个系数的值、N个最大系数的值、N个最大系数的位置、N个最大系数的值和位置。

10.根据权利要求1至3任一项所述的方法，还包括：

根据所述差分压缩中数据块的使用统计，确定所述输入数据块是否应该存储在所述超速缓存内存中和/或是否应该从所述超速缓存内存中移除任何数据块；

将所述输入数据块添加到所述超速缓存内存中和/或从所述超速缓存内存中移除数据块。

11.一种存储程序代码的计算机可读存储介质，其中，所述程序代码包括指令，所述指令在计算机上执行时使所述计算机执行根据权利要求1至3中任一项所述的方法。