[发明专利]重复数据检索方法及设备

权利要求书

1.一种重复数据检索方法，其特征在于，包括：

对接收到的数据进行分块处理，获取至少两个数据分块；

对所述至少两个数据分块进行分组，得到至少一个数据分组，每个数据分组包括至少一个数据分块；

针对所述至少一个数据分组中的第一数据分组，对所述第一数据分组内的数据分块进行相似性哈希运算，获取所述第一数据分组的哈希值，获取哈希值存储表中与所述第一数据分组的哈希值相似度大于或等于预设的第一相似度阈值的第一哈希值，所述哈希值存储表中存储有已经存储在数据存储空间中的第二数据分组的哈希值和所述第二数据分组的对应关系，所述第二数据分组的哈希值是根据所述第二数据分组内的数据分块进行相似性哈希运算获得的；所述第一数据分组是所述至少一个数据分组中的任意一个数据分组；

如果所述第一数据分组的哈希值与所述第一哈希值的相似度大于或等于预设的第二相似度阈值，对所述第一数据分组内的数据分块进行重复块检索。

2.根据权利要求1所述的重复数据检索方法，其特征在于，还包括：

如果所述第一数据分组的哈希值与所述第一哈希值的相似度小于所述第二相似度阈值，将所述第一数据分组内的数据分块和所述第一数据分组内的数据分块的哈希值存储到所述数据存储空间中，并将所述第一数据分组的哈希值与所述第一数据分组的对应关系存储到所述哈希值存储表中。

3.根据权利要求1或2所述的重复数据检索方法，其特征在于，对所述至少两个数据分块进行分组，得到至少一个数据分组包括：

由所述至少两个数据分块中每个数据分块的哈希值构成待分块哈希数据；以任一个所述数据分块的哈希值的长度为滑动步长，采用分块算法对所述待分块哈希数据进行分块处理，得到至少一个哈希值分块；

将属于同一哈希值分块的哈希值对应的数据分块作为一个所述数据分组。

4.根据权利要求1-3任一项所述的重复数据检索方法，其特征在于，对所述第一数据分组内的数据分块进行相似性哈希运算，获取所述第一数据分组的哈希值包括：

对所述第一数据分组内每个数据分块进行哈希运算，获取所述第一数据分组内每个数据分块的哈希值；

将所述第一数据分组内每个数据分块的哈希值中的0替换为-1，将所述第一数据分组内所有数据分块的哈希值的对应位相加，将相加大于0的位映射为1，将相加小于或等于0的位映射为0，获得的二进制数值作为所述第一数据分组的哈希值。

5.根据权利要求1-4任一项所述的重复数据检索方法，其特征在于，所述数据存储空间包括多个存储区域；所述哈希值存储表还存储有所述第二数据分组的哈希值和所述第二数据分组所在存储区域的编号的对应关系；

对所述第一数据分组内的数据分块进行重复块检索包括：

从所述哈希值存储表中获取所述第一哈希值对应的存储区域的编号n，将编号n对应存储区域中的数据分块和数据分块的哈希值加载到内存中；其中，n为大于等于0的整数；

将所述第一数据分组中与所述编号n对应存储区域中哈希值相同的数据分块进行比较，以完成对所述第一数据分组内的数据分块的重复块检索。

6.根据权利要求5所述的重复数据检索方法，其特征在于，所述方法还包括：

在将编号n对应存储区域中的数据分块和数据分块的哈希值加载到内存中的同时，将编号(n+1)对应存储区域中的数据分块和数据分块的哈希值加载到内存中；

所述将所述第一数据分组中与所述编号n对应存储区域中哈希值相同的数据分块进行比较，以完成对所述第一数据分组内的数据分块的重复块检索包括：

将所述第一数据分组中与所述编号n和编号(n+1)对应存储区域中哈希值相同的数据分块进行比较，以完成对所述第一数据分组内的数据分块的重复块检索。

7.根据权利要求1-6任一项所述的重复数据检索方法，其特征在于，所述获取哈希值存储表中与所述第一数据分组的哈希值相似度大于或等于预设的第一相似度阈值的第一哈希值包括：

获取所述哈希值存储表中与所述第一数据分组的哈希值对应位置上的重复位的个数大于或等于预设数量的哈希值作为所述第一哈希值。