[发明专利]一种去除重复数据的方法、装置及系统

权利要求书

1.一种去除重复数据的方法，其特征在于，所述方法包括：

将需要存储的文件的文件标识与待存储的文件分片的索引值对应存储，并根据所述待存储的文件分片的索引值获取用于存储所述待存储的文件分片的索引值的索引服务器，所述待存储的文件分片是对所述需要存储的文件进行分片得到；

如果所述索引服务器包括所述待存储的文件分片的索引值，则在所述索引服务器中增加所述待存储的文件分片的引用次数；

如果所述索引服务器不包括所述待存储的文件分片的索引值，则将所述待存储的文件分片存储在存储服务器中，获取所述待存储的文件分片的引用次数和存储路径，将所述待存储的文件分片的索引值、存储路径和引用次数存储在所述索引服务器中；

当接收到需要删除的文件的文件标识时，根据所述需要删除的文件的文件标识，从已存储的文件标识和索引值的对应关系中获取所述需要删除的文件包括的待删除的文件分片的索引值；

根据所述待删除的文件分片的索引值获取用于存储所述待删除的文件分片的索引的索引服务器，在所述索引服务器包括的索引表中减少所述待删除的文件分片的引用次数，所述索引表用于存储文件分片的索引值、存储路径与引用次数的对应关系；

如果所述待删除的文件分片的引用次数为零，则根据所述待删除的文件分片的索引值，从所述索引服务器包括的索引表中获取所述待删除的文件的存储路径，根据所述待删除的文件分片的存储路径删除所述待删除的文件分片。

2.如权利要求1所述的方法，其特征在于，所述根据所述待存储的文件分片的索引值获取用于存储所述待存储的文件分片的索引值的索引服务器，包括：

根据索引服务器的个数对所述待存储的文件分片的索引值进行取模运算得到索引服务器的标识；

确定所述索引服务器的标识对应的索引服务器为用于存储所述待存储的文件分片的索引值的索引服务器。

3.如权利要求1所述的方法，其特征在于，所述将所述待存储的文件分片存储在存储服务器中，获取所述待存储的文件分片的引用次数和存储路径，将所述待存储的文件分片的索引值、存储路径和引用次数存储在所述索引服务器中，包括：

将所述待存储的文件分片存储在存储服务器中；

获取所述待存储的文件分片的存储路径；

设置所述待存储的文件分片的引用次数的初值；

将所述待存储的文件分片的索引值、存储路径和引用次数的对应关系存储在所述索引服务器包括的索引表中。

4.如权利要求1所述的方法，其特征在于，所述在所述索引服务器中增加所述待存储的文件分片的引用次数之前，还包括：

判断所述索引服务器是否包括所述待存储的文件分片的索引值。

5.如权利要求4所述的方法，其特征在于，所述根据所述待存储的文件分片的索引值判断所述索引服务器是否包括所述待存储的文件分片的索引值，包括：

根据所述待存储的文件分片的索引值，查找所述索引服务器中包括的索引表，所述索引表用于存储文件分片的索引值、存储路径与引用次数的对应关系；

如果查找出对应的存储路径和引用次数，则判断出所述索引服务器包括所述待存储的文件分片的索引值；

如果没有查找出对应的存储路径和引用次数，则判断出所述索引服务器不包括所述待存储的文件分片的索引值。

6.如权利要求1所述的方法，其特征在于，所述根据待存储的文件分片的索引值获取用于存储所述待存储的文件分片的索引值的索引服务器之前，还包括：

对需要存储的文件进行分片得到待存储的文件分片；

根据所述待存储的文件分片的内容获取所述待存储的文件分片的索引值。