[发明专利]数据冗余识别方法

权利要求书

1.一种数据冗余识别方法，包括：

在待计算数据内容的字节序列中确定窗口长度；

确定并行计算的窗口数及跳转间隔；

根据已算得的窗口指纹值并行计算各窗口的指纹值；

标记窗口指纹值符合预定的数据分块边界条件的窗口位置为数据分块边界；

计算数据分块的散列值，并标记数据分块的散列值与已存储的数据分块散列值相等的为冗余数据块。

2.如权利要求1所述的数据冗余识别方法，其特征在于：所述窗口指纹值由拉宾指纹函数计算。

3.如权利要求1所述的数据冗余识别方法，其特征在于：所述窗口指纹值的计算方式为：

RF(α₁、α₂、α₃……α_β)=(α₁p^β+α₂p^β-1+…+α_β-1p+α_β)mod M；

其中α₁、α₂、α₃……α_β为待计算数据内容中的字节序列，RF(α₁、α₂、α₃……α_β)表示窗口长度为β的字节序列的指纹值，p和M为可选的常数。

4.如权利要求1所述的数据冗余识别方法，其特征在于：所述跳转间隔为所述并行计算的窗口数的整数倍。

5.如权利要求1所述的数据冗余识别方法，其特征在于：所述跳转间隔不是所述并行计算的窗口数的整数倍。

6.如权利要求5所述的数据冗余识别方法，其特征在于：所述跳转间隔中重叠计算的窗口指纹值用于校验。

7.如权利要求1所述的数据冗余识别方法，其特征在于：所述并行计算的窗口位于同一跳转间隔中。

8.如权利要求1所述的数据冗余识别方法，其特征在于：所述并行计算的窗口位于不同跳转间隔中。

9.如权利要求1所述的数据冗余识别方法，进一步包括：以散列值与引用信息替代所述标记为冗余数据块的数据进行所述数据块的存储。

10.如权利要求1所述的数据冗余识别方法，其特征在于：所述根据已算得的窗口指纹值并行计算各窗口的指纹值由下式计算：

RF(α_i+1、α_i+2、α_i+3……α_i+β)=

(RF(α_i、α_i+1、α_i+2……α_i+β-1)-α_i×p^β)×p+α_i+βmod M；

其中α_i+1、α_i+2、α_i+3……α_i+β为待计算数据内容中的字节序列，RF(α_i、α_i+1、α_i+2……α_i+β-1)表示窗口长度为β的字节序列的指纹值，p和M为可选的常数。