[发明专利]数据缩减的方法、装置、计算设备和存储介质

权利要求书

1.一种数据缩减的方法，其特征在于，所述方法包括：

获取待缩减的数据块的指纹；

根据所述待缩减的数据块的指纹，将具有相同指纹的数据块的索引信息组成索引集合；

在所述待缩减的数据块中，根据所述待缩减的数据块的指纹，对同一索引集合的索引信息所属的数据块，进行数据缩减处理。

2.根据权利要求1所述的方法，其特征在于，所述将具有相同指纹的数据块的索引信息组成索引集合，包括：

基于日志结构合并LSM树和/或键值对K-V树，在所述待缩减的数据块中，将具有相同指纹的索引信息组成索引集合。

3.根据权利要求2所述的方法，其特征在于，所述指纹为相似指纹或重删指纹，所述指纹为相似指纹时，所述索引信息包括数据块的地址，或者数据块的地址、重删指纹，所述指纹为重删指纹时，所述索引信息包括数据块的地址。

4.根据权利要求2所述的方法，其特征在于，所述指纹包括相似指纹和重删指纹；

所述将具有相同指纹的索引信息组成索引集合，包括：

将具有相同相似指纹的第一索引信息组成第一索引集合，将具有相同重删指纹的第二索引信息组成第二索引集合；其中，所述第一索引信息包括数据块的地址，所述第二索引信息包括数据块的地址；或者，

将具有相同相似指纹的第三索引信息组成第三索引集合；其中，所述第三索引信息包括数据块的地址、重删指纹。

5.根据权利要求2所述的方法，其特征在于，所述基于LSM树，在所述待缩减的数据块中，将具有相同指纹的索引信息组成索引集合，包括：

当达到所述LSM树的第Ln层与第Ln+1层的合并条件时，在所述待缩减的数据块中，将所述第Ln层与所述第Ln+1层具有相同指纹的索引信息合并至所述第Ln+1层，且在合并至所述第Ln+1层后，将具有相同指纹的索引信息组成索引集合，其中，n为自然数。

6.根据权利要求2所述的方法，其特征在于，在基于LSM树和K-V树，在所述待缩减的数据块中，将具有相同指纹的索引信息组成索引集合的情况下，所述根据所述待缩减的数据块的指纹，对同一索引集合的索引信息所属的数据块，进行数据缩减处理，包括：

在执行所述方法的处理设备的负载量大于或等于第一数值的情况下，根据所述LSM树中所述待缩减的数据块的指纹，对同一索引集合的索引信息所属的数据块，进行数据缩减处理；

在所述处理设备的负载量小于所述第一数值的情况下或者所述待缩减的数据块对应目标标识的情况下，根据所述K-V树中所述待缩减的数据块的指纹，对同一索引集合的索引信息所属的数据块，进行数据缩减处理；所述目标标识用于指示实时对数据块进行缩减处理。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取执行所述方法的处理设备的负载量；

所述根据所述待缩减的数据块的指纹，对同一索引集合的索引信息所属的数据块，进行数据缩减处理，包括：

根据所述待缩减的数据块的指纹，建立同一索引集合的索引信息所属的数据块的缩减任务；在所述处理设备的负载量小于第二数值的情况下，执行所述缩减任务；或者，

在所述处理设备的负载量小于第二数值的情况下，根据所述待缩减的数据块的指纹，建立同一索引集合的索引信息所属的数据块的缩减任务，执行所述缩减任务。

8.一种数据缩减的装置，其特征在于，所述装置包括：

获取模块，用于获取待缩减的数据块的指纹；

确定模块，用于根据所述待缩减的数据块的指纹，将具有相同指纹的数据块的索引信息组成索引集合；

缩减模块，用于在所述待缩减的数据块中，根据所述待缩减的数据块的指纹，对同一索引集合的索引信息所属的数据块，进行数据缩减处理。

9.根据权利要求8所述的装置，其特征在于，所述确定模块，用于：

基于日志结构合并LSM树和/或键值对K-V树，在所述待缩减的数据块中，将具有相同指纹的索引信息组成索引集合。