[发明专利]一种适应大数据应用的快速重复数据删除方法

摘要

本发明提供一种适应大数据应用的快速重复数据删除方法，适用于大数据应用下的备份去重系统，解决传统基于内容识别的变长分块算法去重速率低，不能快速识别冗余数据问题；本发明在分块过程中通过调节去重因子和加速因子，在确保去重率的前提下大幅提高去重速率，能够快速进行去重检测，平衡了去重率和去重速率之间的矛盾，降低了备份窗口，节约了网络带宽和存储空间。

主权项

一种适应大数据应用的快速重复数据删除方法，其特征在于，包括以下步骤：（1）用户定制备份任务，形成备份文件流；（2）通过一个固定长度窗口在备份文件流上按字节进行滑动，每滑动一个字节就采用RabinHash函数计算一次窗口内数据指纹值，记为rhashvalue；（3）判断步骤（2）所计算的指纹值是否满足边界点条件：rhashvalue%D=r；其中，D为除数，其值随机确定；r为模数，取值为D‑1；若不满足，则转入步骤（2）继续进行滑动窗口；若满足，则转入步骤（4）；（4）以步骤（3）找到的满足边界点条件的窗口位置为界对备份文件流进行划分，形成CDC变长块，同时记录变长块个数以及当前边界点位置，同时进入步骤（5）和（8）；（5）判断备份文件流是否划分结束，若结束，则整个分块过程结束；若未结束，则进入步骤（6）；（6）判断CDC变长块个数是否等于去重因子，若不相等，则转入步骤（2）继续滑动窗口；若相等，则进入步骤（7）；（7）清零CDC变长块个数，即重新开始计数，并且从上一个划分的块的边界点位置开始按加速因子进行固定长度分块，同时进入步骤（5）和步骤（8）；（8）计算CDC变长块或定长块hash值，并进入步骤（9）去重检测过程；（9）检索hash表，查询hash值是否存在，若存在，则更新hash表对应hash值引用次数；若不存在，则存储hash值及相应数据块内容。