[发明专利]重复数据检索方法及设备

摘要

本发明实施例提供一种重复数据检索方法及设备。方法包括：对接收到的数据进行分块处理获取至少两个数据分块；对至少两个数据分块进行分组得到至少一个数据分组；针对每个数据分组，对该数据分组内的数据分块进行相似性哈希运算获取该数据分组的哈希值，获取哈希值存储表中与该数据分组的哈希值相似度大于或等于第一相似度阈值的第一哈希值，如果该数据分组的哈希值与第一哈希值的相似度大于或等于预设第二相似度阈值，对该数据分组内的数据分块进行重复块检索。本发明技术方案提高了重复块查询效率，提高重复数据删除技术的整体性能。

主权项

一种重复数据检索方法，其特征在于，包括：对接收到的数据进行分块处理，获取至少两个数据分块；对所述至少两个数据分块进行分组，得到至少一个数据分组，每个数据分组包括至少一个数据分块；针对所述至少一个数据分组中的第一数据分组，对所述第一数据分组内的数据分块进行相似性哈希运算，获取所述第一数据分组的哈希值，获取哈希值存储表中与所述第一数据分组的哈希值相似度大于或等于预设的第一相似度阈值的第一哈希值，所述哈希值存储表中存储有已经存储在数据存储空间中的第二数据分组的哈希值和所述第二数据分组的对应关系，所述第二数据分组的哈希值是根据所述第二数据分组内的数据分块进行相似性哈希运算获得的；所述第一数据分组是所述至少一个数据分组中的任意一个数据分组；如果所述第一数据分组的哈希值与所述第一哈希值的相似度大于或等于预设的第二相似度阈值，对所述第一数据分组内的数据分块进行重复块检索。