[发明专利]一种重复数据删除方法和设备

权利要求书

1.一种重复数据删除方法，其特征在于，包括：

根据待存储文件的文件类型出现的次数与设定的阈值比较的结果，识别所述待存储文件的分类；或者，根据待存储文件的文件类型在常用文件数据库中查找的结果，识别所述待存储文件的分类；

其中，所述文件的分类包括常用文件和非常用文件；

根据文件的分类确定所述待存储文件使用的重复数据删除规则，具体包括：当所述待存储文件为常用文件时，所述待存储文件使用的重复数据删除规则为数据块级重复数据删除；当所述待存储文件为非常用文件时，所述待存储文件使用的重复数据删除规则为文件级重复数据删除；

根据确定的重复数据删除规则，对所述待存储文件进行重复数据删除。

2.如权利要求1所述的方法，其特征在于，所述根据待存储文件的文件类型出现的次数与设定的阈值比较的结果，识别所述待存储文件的分类，具体包括：

获取所述待存储文件的文件类型的出现次数，并判断所述文件类型的出现次数是否大于阈值，当所述文件类型的出现次数大于所述阈值时，确定所述待存储文件为常用文件，当获取的所述待存储文件的文件类型的出现次数不大于所述阈值时，确定所述待存储文件为非常用文件；

或者，所述根据待存储文件的文件类型在常用文件数据库中查找的结果，识别所述待存储文件的分类，具体包括：

在查找常用文件数据库中查找所述待存储文件的文件类型，当在常用文件数据库中查找到所述待存储文件的文件类型时，确定所述待存储文件为常用文件，当在常用文件数据库中没有查找到所述待存储文件的文件类型时，确定待存储文件为非常用文件。

3.如权利要求1所述的方法，其特征在于，所述根据确定的重复数据删除规则，对所述待存储文件进行重复数据删除，具体包括：

根据所述数据块级重复数据删除规则，将所述待存储文件划分成多个数据块，计算每一个数据块的指纹信息；

将所述每一个数据块的指纹信息与存储的指纹信息进行比较；

当一个数据块的指纹信息与已存储的指纹信息相同时，存储所述数据块与已存储的与所述数据块的指纹信息相同的指纹信息之间的引用信息，并丢弃所述数据块；当一个数据块的指纹信息与存储的指纹信息不相同时，存储所述数据块和计算得到的所述数据块的指纹信息。

4.如权利要求1所述的方法，其特征在于，所述根据确定的重复数据删除规则，对所述待存储文件进行重复数据删除，具体包括：

根据所述文件级重复数据删除规则，从所述待存储文件中选择至少部分文件数据，计算出所述至少部分文件数据的指纹信息；

将计算得到的所述至少部分文件数据的指纹信息与存储的指纹信息进行比较；

当计算得到的所述至少部分文件数据的指纹信息与已存储的指纹信息相同时，存储所述待存储文件与已存储的与所述至少部分文件数据的指纹信息相同的指纹信息之间的引用信息，并丢弃所述待存储文件；当计算得到的指纹信息与已存储的指纹信息不相同时，存储所述待存储文件和计算得到的所述至少部分文件数据的指纹信息。

5.一种重复数据删除设备，其特征在于，包括：

识别模块，用于根据待存储文件的文件类型出现的次数与设定的阈值比较的结果，识别所述待存储文件的分类；或者，用于根据待存储文件的文件类型在常用文件数据库中查找的结果，识别所述待存储文件的分类；其中，所述文件的分类包括常用文件和非常用文件；

删除规则确定模块，用于根据文件的分类确定所述待存储文件使用的重复数据删除规则，具体用于：当所述待存储文件为常用文件时，所述待存储文件使用的重复数据删除规则为数据块级重复数据删除；当所述待存储文件为非常用文件时，所述待存储文件使用的重复数据删除规则为文件级重复数据删除；

删除模块，用于根据确定的重复数据删除规则，对所述待存储文件进行重复数据删除。