[发明专利]一种适应大数据应用的快速重复数据删除方法

权利要求书

1.一种适应大数据应用的快速重复数据删除方法，其特征在于，包括以下步骤：

（1）用户定制备份任务，形成备份文件流；

（2）通过一个固定长度窗口在备份文件流上按字节进行滑动，每滑动一个字节就采用RabinHash函数计算一次窗口内数据指纹值，记为rhashvalue；

（3）判断步骤（2）所计算的指纹值是否满足边界点条件：rhashvalue%D=r；其中，D为除数，其值随机确定；r为模数，取值为D-1；若不满足，则转入步骤（2）继续进行滑动窗口；若满足，则转入步骤（4）；

（4）以步骤（3）找到的满足边界点条件的窗口位置为界对备份文件流进行划分，形成CDC变长块，同时记录变长块个数以及当前边界点位置，同时进入步骤（5）和（8）；

（5）判断备份文件流是否划分结束，若结束，则整个分块过程结束；若未结束，则进入步骤（6）；

（6）判断CDC变长块个数是否等于去重因子，若不相等，则转入步骤（2）继续滑动窗口；若相等，则进入步骤（7）；

（7）清零CDC变长块个数，即重新开始计数，并且从上一个划分的块的边界点位置开始按加速因子进行固定长度分块，同时进入步骤（5）和步骤（8）；

（8）计算CDC变长块或定长块hash值，并进入步骤（9）去重检测过程；

（9）检索hash表，查询hash值是否存在，若存在，则更新hash表对应hash值引用次数；若不存在，则存储hash值及相应数据块内容。

2.根据权利要求1所述的一种适应大数据应用的快速重复数据删除方法，其特征在于，步骤（2）中所述固定长度窗口的长度为48bytes或50bytes。

3.根据权利要求1所述的一种适应大数据应用的快速重复数据删除方法，其特征在于，步骤（6）中所述去重因子为1、2、3或4。

4.根据权利要求1所述的一种适应大数据应用的快速重复数据删除方法，其特征在于，步骤（7）中所述加速因子为4KB、8KB、16KB、32KB、64KB或128KB。