[发明专利]一种重复数据的删除方法及装置

权利要求书

1.一种重复数据的删除方法，其特征在于，包括：

在文件读写频率表中查询与待写入的目标文件相似的文件的读写频率，并判断所述读写频率是否大于预定阈值；

若是，则将所述目标文件写入新分配的磁盘空间中；若否，则通过重复数据删除策略将所述目标文件写入新分配的磁盘空间；

其中，将读写频率大于预定频率阈值的文件作为原始文件，并检测所述原始文件是否引用其他数据；

若是，则检测所述原始文件的内存值及所述原始文件的引用数据的内存值；

向所述原始文件分配目标内存空间，并将所述原始文件和所述原始文件的引用数据写入所述目标内存空间；其中，所述目标内存空间的内存值不小于所述原始文件的内存值与所述原始文件的引用数据的内存值之和。

2.根据权利要求1所述的删除方法，其特征在于，通过重复数据删除策略将所述目标文件写入新分配的磁盘空间之后，包括：

将文件读写频率表中的与所述目标文件相似的文件的读写次数加一。

3.根据权利要求2所述的删除方法，其特征在于，还包括：

检测内存中的哈希索引表的所占内存是否大于预定内存阈值；

若是，则清除所述哈希索引表中比对次数小于预定次数阈值的哈希值数据。

4.根据权利要求3所述的删除方法，其特征在于，还包括：

遍历文件inode中的extent信息；

判断每个extent所包含地址的数据的引用次数是否小于预定引用次数；

若是，则从指纹库中删除引用次数小于预定引用次数的数据所对应的指纹信息，并将引用次数小于预定引用次数的数据的地址标记为未使用。

5.一种重复数据的删除装置，其特征在于，包括：

读写频率判断模块，用于在文件读写频率表中查询与待写入的目标文件相似的文件的读写频率，判断所述读写频率是否大于预定阈值；

若是，则触发第一写入模块；若否，则触发第二写入模块；

所述第一写入模块，用于将所述目标文件写入新分配的磁盘空间中；

所述第二写入模块，用于通过重复数据删除策略将所述目标文件写入新分配的磁盘空间；

第一检测模块，用于将读写频率大于预定频率阈值的文件作为原始文件，并检测所述原始文件是否引用其他数据；若是，则触发内存值检测模块；

所述内存值检测模块，用于检测所述原始文件的内存值及所述原始文件的引用数据的内存值；

第三写入模块，用于向所述原始文件分配目标内存空间，并将所述原始文件和所述原始文件的引用数据写入所述目标内存空间；

其中，所述目标内存空间的内存值不小于所述原始文件的内存值与所述原始文件的引用数据的内存值之和。

6.根据权利要求5所述的删除装置，其特征在于，包括：

读写频率更新模块，用于通过重复数据删除策略将所述目标文件写入新分配的磁盘空间之后，将文件读写频率表中的与所述目标文件相似的文件的读写次数加一。

7.根据权利要求6所述的删除装置，其特征在于，还包括：

第二检测模块，用于检测内存中的哈希索引表的所占内存是否大于预定内存阈值；

若是，则触发哈希值数据清除模块；

所述哈希值数据清除模块，用于清除所述哈希索引表中比对次数小于预定次数阈值的哈希值数据。

8.根据权利要求7所述的删除装置，其特征在于，还包括：

判断模块，用于遍历文件inode中的extent信息，判断每个extent所包含地址的数据的引用次数是否小于预定引用次数，若是，则触发执行模块；

所述执行模块，用于从指纹库中删除引用次数小于预定引用次数的数据所对应的指纹信息，并将引用次数小于预定引用次数的数据的地址标记为未使用。