[发明专利]数据冗余识别方法

说明书

技术领域

本发明涉及一种通信中的数据压缩方法，具体地，本发明涉及一种网络压缩中用于网络冗余删除的数据冗余识别方法。

背景技术

网络冗余删除技术作为一种新型的网络压缩技术受到学术界和工业界的广泛关注，其主要功能是识别网络中重复传输的数据，极大地缩减网络传输数据量，提高网络带宽的利用率，从而提高应用性能和节省运营成本。

网络冗余删除技术需要对传输的数据进行划分，找出相同的部分，并用指纹（或签名）取代相同数据的传输来实现数据的压缩。目前主要有两种数据块划分方式，固定长度划分和可变长度划分。固定长度划分是以固定长度的数据内容划分数据，由于不能智能地根据数据自身内容的变化来调整数据分块的边界，如对编辑的重复数据处理低效，存在一定的局限性。可变长度划分主要采用滑动窗口技术，基于数据的内容来确定数据分块的边界，其原理是：从数据起始端开始，将固定大小相互重叠的活动窗口中的数据序列看成组成数据的各个部分，在窗口的每个位置，该窗口中数据序列的拉宾（Rabin）指纹被计算出来，当指纹满足某个条件时，如当它的值模某个指定的整除数为0时，则把此时滑动窗口右边界位置作为数据分块的边界，不断地重复这个过程，直到将传输的所有数据划分成块。基于内容可变长度分块可以将更新/编辑对数据划分的影响控制在更新/编辑位置附件的几个数据分块内，并保持其他数据分块长度不变。可变长度划分对两个相似的数据内容之间可以检测出更多的冗余。

可变长度划分所采用窗口指纹的计算主要采用由美国哈佛大学教授拉宾（Rabin）提出的方法。Rabin指纹计算具有高效性且Rabin指纹函数具有随机性，对任意数据呈现均匀分布，因而Rabin指纹函数在指纹计算中得到广泛应用。然而在高带宽网络传输和存储环境下，Rabin指纹函数的计算速度越来越难以满足高速存储和高带宽网络传输中的冗余数据删除的处理要求。

发明内容

有鉴于此，有必要提供一种数据冗余识别方法，可以提高冗余识别的速度。

一种数据冗余识别方法，包括：

在待计算数据内容的字节序列中确定窗口长度；

确定并行计算的窗口数及跳转间隔；

根据已算得的窗口指纹值并行计算各窗口的指纹值；

标记窗口指纹值符合预定的数据分块边界条件的窗口位置为数据分块边界；

计算数据分块的散列值，并标记数据分块的散列值与已存储的数据分块散列值相等的为冗余数据块。

可选地，所述窗口指纹值由拉宾指纹函数计算。

可选地，所述窗口指纹值的计算方式为：

RF(α₁、α₂、α₃……α_β)=(α₁p^β+α₂p^β-1+…+α_β-1p+α_β)mod M；

其中α₁、α₂、α₃……α_β为待计算数据内容中的字节序列，RF(α₁、α₂、α₃……α_β)表示窗口长度为β的字节序列的指纹值，p和M为可选的常数。

可选地，所述跳转间隔为所述并行计算的窗口数的整数倍。

可选地，所述跳转间隔不是所述并行计算的窗口数的整数倍。

可选地，所述跳转间隔中重叠计算的窗口指纹值用于校验。

可选地，所述并行计算的窗口位于同一跳转间隔中。

可选地，所述并行计算的窗口位于不同跳转间隔中。

可选地，所述数据冗余识别方法进一步包括：以散列值与引用信息替代所述标记为冗余数据块的数据进行所述数据块的存储。

可选地，所述根据已算得的窗口指纹值并行计算各窗口的指纹值由下式计算：

RF(α_i+1、α_i+2、α_i+3……α_i+β)=

(RF(α_i、α_i+1、α_i+2……α_i+β-1)-α_i×p^β)×p+α_i+βmod M；