[发明专利]一种数据缩减方法和装置

说明书

本申请实施例公开了一种数据缩减方法和装置，涉及计算机领域，提高了数据缩减的性能。具体方案为：获取第一逻辑单元所存储的第一数据的第一业务类型；根据与第一业务类型匹配的第一数据缩减方式，处理第一数据；获取第二逻辑单元所存储的第二数据的第二业务类型；第二业务类型不同于第一业务类型；根据与第二业务类型匹配的第二数据缩减方式，处理第二数据；第一数据缩减方式包括数据压缩处理和/或重复数据删除处理；第二数据缩减方式包括数据压缩处理和/或重复数据删除处理；其中，第一数据缩减方式不同于第二数据缩减方式。

技术领域

本申请实施例涉及计算机领域，尤其涉及一种数据缩减方法和装置。

背景技术

随着存储技术的发展，需要存储的数据信息庞大，为了提高存储效率，可以对存储的数据进行缩减，例如删除存储的重复数据，或者对存储的数据进行压缩。因此，有效的缩减数据具有十分重要意义。

存在众多的通用数据缩减方式，例如前重删缩减，后重删缩减，伦佩尔-齐夫七七压缩(Lempel-Ziv77，lz77)，伦佩尔-齐夫四(Lempel-Ziv4，lz4)，通用标准压缩(zstandard，ZSTD)等。但是，若对于不同存储方式的数据，采用通用的数据缩减方式缩减，存在数据缩减的性能较低。

发明内容

本申请提供一种数据缩减方法和装置，提高了数据缩减的性能。

为了达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种数据缩减方法，该方法可以包括：获取第一逻辑单元所存储的第一数据的第一业务类型；根据与第一业务类型匹配的第一数据缩减方式，处理第一数据，第一数据缩减方式包括数据压缩处理和/或重复数据删除处理；获取第二逻辑单元所存储的第二数据的第二业务类型；第二业务类型不同于第一业务类型；根据与第二业务类型匹配的第二数据缩减方式，处理第二数据，第二数据缩减方式包括数据压缩处理和/或重复数据删除处理；其中，第一数据缩减方式不同于第二数据缩减方式。

通过本申请提供的数据缩减方法，根据逻辑单元中存储的数据的业务类型，选取匹配该业务类型的缩减方式缩减该逻辑单元中的数据，提高数据缩减的性能。

结合第一方面，在一种可能的实现方式中，第一数据可以包括多个第一数据块，获取第一逻辑单元所存储的第一数据的第一业务类型，可以包括：获取多个第一数据块中的一个或多个样本数据块；根据一个或多个样本数据块的业务类型确定第一数据的第一业务类型。在该可能的实现方式中，通过多个样本数据块的业务类型确定第一数据的第一业务类型，提高了确定第一数据的业务类型的效率，进一步提高数据缩减的性能。

结合第一方面或上述一种可能的实现方式中，在另一种可能的实现方式中，根据一个或多个样本数据块的业务类型确定第一数据的第一业务类型，可以包括：若一个或多个样本数据块的业务类型属于同一种业务类型，确定第一数据的第一业务类型与一个或多个样本数据块的业务类型一致。在该可能的实现方式中，样本数据属于同一种业务类型，确定第一业务类型为该同一种业务类型，提高了识别数据的业务类型的准确度，进一步提高数据缩减的性能。

结合第一方面或上述一种可能的实现方式中，在另一种可能的实现方式中，根据一个或多个样本数据块的业务类型确定第一数据的第一业务类型，可以包括：若一个或多个样本数据块的业务类型包括多种业务类型，根据多种业务类型的占比及预设规则，确定第一数据的第一业务类型。在该可能的实现方式中，可以灵活配置预设规则，提高了识别数据的业务类型的准确度，进一步提高数据缩减的性能。

其中，可以根据实际需求配置预设规则，该预设规则可以在存储设备设计阶段静态配置，或者，预设规则也可以设置为可配置内容，在存储设备使用阶段由存储设备的用户或者管理员或者其他人员修改配置，本申请对此不予限定。