[发明专利]重复数据删除方法

权利要求书

1.一种重复数据删除方法，其特征在于，包括：

在有新的数据块需要写入时，生成所述数据块的指纹；

根据所述数据块的指纹查询预置的已存储数据块的块指纹索引，检查所述数据块是否与已存储数据块重复；

在确定所述数据块与已存储的数据块重复时，删除所述新的数据块。

2.根据权利要求1所述的重复数据删除方法，其特征在于，所述在有新的数据块需要写入时，生成所述数据块的指纹的步骤之前，还包括：

为每个块组(Block Group)中已存储数据块的生成一块指纹索引，在所述块指纹索引中包括各个数据块的块指纹索引值，所述块指纹索引值包括数据块的指纹和引用计数，所述引用计数纪录所述数据块被重复引用的次数。

3.根据权利要求2所述的重复数据删除方法，其特征在于，所述在有新的数据块需要写入时，生成所述数据块的指纹的步骤之前，还包括：

生成已存储数据块的内存索引过滤器，所述内存索引过滤器为一内存中的索引结构，将全部已存储数据块的指纹的前若干位作为索引键，将所述索引键与对应数据块的地址存储于所述内存索引过滤器中。

4.根据权利要求3所述的重复数据删除方法，其特征在于，根据所述数据块的指纹查询预置的已存储数据块的块指纹索引，检查所述数据块是否与已存储数据块重复包括：

检查所述数据块指纹的前若干位是否能够与所述内存索引过滤器中的索引键相匹配；

在所述数据块指纹的前若干位不能与所述内存索引过滤器中的任一索引键相匹配时，判定所述数据块不与已存储数据块重复。

5.根据权利要求4所述的重复数据删除方法，其特征在于，所述检查所述数据块指纹的前若干位是否能够与所述内存索引过滤器中的索引键相匹配的步骤之后还包括：

在所述数据块指纹的前若干位能够与所述索引过滤器中的一个或多个索引键相匹配时，提取所述相匹配的一个或多个索引键对应的完整指纹；

将所述数据块指纹与所述一个或多个索引键对应的完整指纹进行比对；

在所述一个或多个索引键对应的完整指纹中存在与所述数据块指纹相同的指纹时，判定所述数据块与已存储数据块重复。

6.根据权利要求5所述的重复数据删除方法，其特征在于，所述将所述数据块指纹与所述一个或多个索引键对应的完整指纹进行比对的步骤之后，还包括：

在所述一个或多个索引键对应的完整指纹中不存在与所述数据块指纹相同的指纹时，判定所述数据块不与已存储数据块重复。

7.根据权利要求6所述的重复数据删除方法，其特征在于，所述在确定所述数据块与已存储的数据块重复时，删除所述新的数据块的步骤之后，还包括：

将与所述新的数据块相同的已存储数据块的引用次数加一。

8.根据权利要求1或7所述的重复数据删除方法，其特征在于，所述在有新的数据块需要写入时，生成所述数据块的指纹的步骤之前，还包括：

建立已存储数据块的数据结构，所述数据结构包括多个索引节点，每个索引节点对应一个数据块，记录该数据块的基本信息和指针信息，所述指针信息指向所述数据块的存储地址。

9.根据权利要求8所述的重复数据删除方法，其特征在于，所述根据所述数据块的指纹查询预置的已存储数据块的块指纹索引，检查所述数据块是否与已存储数据块重复的步骤之后，还包括：

在所述数据块与已存储数据块不重复时，将所述数据添加至块指纹索引中；

在所述已存储数据块的数据结构中为所述新的数据块添加索引节点，所述索引节点的指纹信息指向所述新的数据块的索引地址。