[发明专利]数据处理方法及存储设备

说明书

本申请提供了一种数据处理方法及存储设备，属于存储技术领域。本申请由于存储设备在重复数据删除处理和压缩处理时采用了不一样的粒度，采用大粒度对所述数据进行重复数据删除处理，采用小粒度对所述数据进行压缩处理，因此摆脱了重删粒度和压缩粒度必须相同的限制，一定程度上避免粒度过大而导致重删率下降以及粒度过小而导致压缩率下降，有助于提升重删压缩整体的缩减率。

本申请要求于2020年06月11日提交的申请号为202010526840.7、发明名称为“一种存储系统、存储节点和数据存储方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及存储技术领域，特别涉及一种数据处理方法及存储设备。

背景技术

重删和压缩是存储行业中的关键技术。存储设备通过进行重删和压缩，能够减少实际存储的数据规模，节约数据在存储设备中占用的存储空间，提高存储设备的存储效率。

目前，存储设备会预先设置一个固定的粒度，基于该粒度进行重删，并基于该粒度进行压缩。例如，预先将粒度设定为8千字节(Kilobyte，KB)，则存储设备在进行重删时，会判断每8KB的数据块是否是重复块，如果某个8KB的数据块是重复块，则存储设备删除该8KB的数据块；并且，存储设备在进行压缩时，每一次压缩8KB的数据块。

采用上述方法处理数据时，重删粒度和压缩粒度必须是相同的，可见该方法局限性强。

发明内容

本申请实施例提供了一种数据处理方法及存储设备，一定程度上解决数据处理方法面临的局限性。所述技术方案如下：

第一方面，提供了一种数据处理方法，该方法由存储设备执行，包括：获取数据；基于第一粒度对所述数据进行重复数据删除处理；基于第二粒度对所述数据进行压缩处理，所述第二粒度的尺寸大于所述第一粒度的尺寸；将经过所述重复数据删除处理和所述压缩处理的数据存储在所述存储设备的硬盘中。

在第一方面提供的方法中，由于存储设备在重复数据删除处理和压缩处理时采用了不一样的粒度，采用大粒度进行重复数据删除处理，采用小粒度进行压缩处理，因此摆脱了重删粒度和压缩粒度必须相同的限制，一定程度上避免粒度过大而导致重删率下降以及粒度过小而导致压缩率下降，有助于提升重删压缩整体的缩减率。

在第一方面中，本申请并不限定所述重复数据删除处理和所述压缩处理的先后顺序。某些场景下可以先执行压缩处理再执行重复数据删除处理，在某些场景下可以先执行重复数据删除处理再执行压缩处理。以先执行重复数据删除处理再执行压缩处理为例，在经过重复数据删除处理之后得到重复块和非重复块，本申请可以只对非重复块进行压缩处理。如果先执行压缩处理再执行重复数据删除处理，就是对所述数据进行压缩以后得到压缩块，再针对所述压缩块进行重复数据删除处理。

可选地，所述存储设备中存储有元数据，所述元数据是基于元数据管理粒度来管理的，所述元数据管理粒度的尺寸小于或等于设定的最大值，并且大于或等于设定的最小值，所述第一粒度的尺寸等于所述最小值的整数倍。

通过这种方式，由于将元数据管理粒度的最小值作为重复数据删除处理时使用的粒度，有助于重复数据删除处理时取到较优粒度，从而提高重删率并节省存储资源。

可选地，所述第二粒度的尺寸是所述最小值与压缩率的乘积。

通过这种方式，由于压缩处理时采用的粒度不再是固定的值，而是根据压缩率动态选择的，从而保证数据读取性能不下降的情况下压缩率较优。

可选地，所述基于第一粒度对所述数据进行重复数据删除处理包括：将所述数据划分为多个数据块；获取每个数据块的指纹；根据所述指纹，从所述多个数据块中确定重复块以及非重复块。