[发明专利]一种重复数据确定方法、系统及分布式存储系统

摘要

本申请公开了一种重复数据确定方法，应用于分布式存储系统，包括判断目标写入数据的数据指纹是否存在于预设的数据指纹字典中；其中，数据指纹字典为用于存储特定数据指纹的数据库，特定数据指纹为分布式存储系统中满足预设数据筛选条件的数据的指纹；若目标写入数据的数据指纹存在于数据指纹字典中，则将目标写入数据确定为重复数据。本申请的数据指纹字典中所存储的数据指纹是经过预设数据筛选条件筛选的数据的指纹，也即，上述数据指纹字典中保存的数据指纹仅仅是存储系统中经过筛选后的部分数据的指纹，从而使得在指纹比对过程中，只需将目标写入数据的数据指纹与部分数据的指纹进行比对，从而大幅提升了重复数据的确定速度。

主权项

一种重复数据确定方法，其特征在于，应用于分布式存储系统，包括：判断目标写入数据的数据指纹是否存在于预设的数据指纹字典中；其中，所述数据指纹字典为用于存储特定数据指纹的数据库，所述特定数据指纹为所述分布式存储系统中满足预设数据筛选条件的数据的指纹；若所述目标写入数据的数据指纹存在于所述数据指纹字典中，则将所述目标写入数据确定为重复数据。