[发明专利]数据缩减的方法、装置、计算设备和存储介质

说明书

本申请提供了一种数据缩减的方法、装置、计算设备和存储介质，所属的技术领域为大数据技术领域，该方法包括：在对待缩减的数据块进行缩减时，可以获取待缩减的数据块的指纹。根据待缩减的数据块的指纹，将具有相同指纹的数据块的索引信息组成索引集合，在待缩减的数据块中，根据待缩减的数据块的指纹，对同一索引集合的索引信息所属的数据块，进行数据缩减处理。采用本申请，可以提升数据缩减的效率。

技术领域

本申请涉及大数据技术领域，特别涉及一种数据缩减的方法、装置、计算设备和存储介质。

背景技术

随着大数据、云计算和人工智能的飞速发展，企业对数据存储的需求呈现爆炸式的增长，如果对这些数据直接进行存储，会占用较大的存储空间。所以如何提高存储空间的利用率，以有限的存储容量满足飞速增长的数据是当下应当解决的重要问题。

相关技术中，为了提高存储空间的利用率，通常会采用数据缩减技术对数据进行压缩。具体处理为：存储系统在接收到要进行存储的数据时，对数据进行分割处理，得到待缩减的数据块，获取该数据块的重删指纹，基于重删指纹(Fingerprint，FP)，在全部数据块的重删指纹中，确定该数据块是否可以进行重复删除。若该数据块不可以重复删除，则获取该数据块的相似指纹，基于相似指纹，在全部数据块的相似指纹(Similar Fingerprint，SFP)中，确定该数据块是否可以进行相似删除。若该数据块可以相似删除，则进行相似删除处理，若该数据块不可以相似删除处理，则将该数据块整个存储至磁盘中。

在相关技术中，每次在判断数据是否可以进行数据缩减时，需要在全部数据块的指纹中，确定是否可以进行数据缩减，在全部数据块的数目比较多时，会花费大量的时间，造成存储系统的资源浪费。

发明内容

本申请提供了一种数据缩减的方法、装置、计算设备和存储介质，以减少存储资源的浪费。

第一方面，提供了一种数据缩减的方法，该方法包括：

获取待缩减的数据块的指纹；根据所述待缩减的数据块的指纹，将具有相同指纹的数据块的索引信息组成索引集合；在所述待缩减的数据块中，根据所述待缩减的数据块的指纹，对同一索引集合的索引信息所属的数据块，进行数据缩减处理。

本申请所示的方案，在存在待缩减的数据块时，获取该待缩减的数据块的指纹。然后确定待缩减的数据块的指纹中的相同指纹，将具有相同指纹的数据块的索引信息，组成索引集合。对于任一索引集合，确定该索引集合的索引信息所属的数据块，将该索引集合的索引信息所属的数据块，进行数据缩减处理。这样，由于将具有相同指纹的索引信息组成一个索引集合，所以后续在搜索相同指纹的数据块时，可以直接获取一个索引集合，而不需要在全部的指纹中进行搜索，所以可以提高数据缩减效率。

在一种可能的实施方式中，该将所述指纹中具有相同指纹的数据块的索引信息组成索引集合，包括：基于日志结构合并(Log-Structured Merge，LSM)树和/或键值对(KeyValue，K-V)树，在所述待缩减的数据块中，将具有相同指纹的索引信息组成索引集合。

本申请所示的方案，在仅有LSM树的情况下，LSM树的结构中包括多层存储结构，即L0层至Ln层，在数据块的索引信息最开始存储在LSM树中时，会首先被存储在第L0层。在第L0层与第L1层满足合并条件时，将第L0层的索引信息存储至第L1层，即在第Ln层和第Ln+1层满足合并条件时，将第Ln层的索引信息存储至第Ln+1层(第Ln层的容量小于第Ln+1层的容量)。可以使用LSM树，在待缩减的数据块中，确定具有相同的指纹的数据块，然后将这些数据块的索引信息，组成索引集合。在仅有K-V树的情况下，K-V树是按照键值对的形式进行存储，一个键值对包括一个键和一个值。可以使用K-V树，在待缩减的数据块中，确定具有相同的指纹的数据块，然后将这些数据块的索引信息，组成索引集合。在有LSM树和L-V树的情况下，分别使用这两种树，组成索引集合。这样，由于使用这两种树，所以可以使确定索引集合的效率更高。