[发明专利]缓存设备数据的离线去重压缩方法、装置及可读存储介质

权利要求书

1.一种缓存设备数据的离线去重压缩方法，其特征在于，包括：

读取缓存设备上预设长度的数据段，判断所述数据段的修改次数是否大于第一阈值；

若不大于，将所述数据段划分为预设粒度的数据块，并计算所述数据块的指纹；

查询所述缓存设备的指纹库，判断所述指纹库中是否存在所述指纹；

若存在所述指纹，则确定所述数据块为重复数据，并将所述数据块的元数据信息存储至所述缓存设备的元数据区域，所述元数据信息包括所述数据块在所述数据段中的顺序、所述数据块的物理存储地址及所述数据块的长度；

在读取缓存设备上预设长度的数据段之前，所述方法还包括：

判断所述缓存设备的存储带宽是否大于带宽阈值；

若不大于，则触发读取缓存设备上预设长度的数据段的步骤。

2.根据权利要求1所述的方法，其特征在于，在所述若存在所述指纹之后，所述确定所述数据块为重复数据之前，所述方法还包括：

计算所述数据段去重后的分散度；

判断所述分散度是否大于分散阈值；

若不大于，则触发确定所述数据块为重复数据的步骤；

若大于，则将所述数据段存储至所述缓存设备的数据区域。

3.根据权利要求1所述的方法，其特征在于，在判断所述数据段的修改次数是否大于第一阈值之后，所述方法还包括：

若大于所述第一阈值，则将所述数据段直接存储至所述缓存设备的数据区域；

在判断所述指纹库是否存在所述指纹之后，所述方法还包括：

若不存在所述指纹，对所述数据块执行压缩操作，并将压缩后的数据块存储至所述缓存设备的数据区域，而将压缩后的数据块的元数据信息及所述数据块的指纹更新至所述指纹库中，所述元数据信息包括：所述数据块压缩后的物理存储地址及所述数据块压缩后的长度。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

判断所述缓存设备的数据区域及元数据区域的存储量是否超出存储阈值；

若所述数据区域或所述元数据区域的存储量超出存储阈值，则按照预设规则淘汰第一数据及第一元数据；

将所述第一数据及所述第一元数据存储至第一存储设备中，并更新所述缓存设备中的数据及元数据。

5.一种缓存设备数据的离线去重压缩装置，其特征在于，包括：

读取判断单元，用于读取缓存设备上预设长度的数据段，判断所述数据段的修改次数是否大于第一阈值；

计算单元，用于在所述修改次数不大于所述第一阈值时，将所述数据段划分为预设粒度的数据块，并计算所述数据块的指纹；

查询判断单元，用于查询所述缓存设备的指纹库，判断所述指纹库中是否存在所述指纹；

去重单元，用于在所述指纹库中存在所述指纹时，确定所述数据块为重复数据，并将所述数据块的元数据信息存储至所述缓存设备的元数据区域，所述元数据信息包括所述数据块在所述数据段中的顺序、所述数据块的物理存储地址及所述数据块的长度；

所述压缩装置还包括：

第二判断单元，用于判断所述缓存设备的存储带宽是否大于带宽阈值；

第二触发单元，用于在所述存储带宽不大于所述带宽阈值时，触发读取缓存设备上预设长度的数据段的步骤。

6.根据权利要求5所述的去重压缩装置，其特征在于，所述压缩装置还包括：

去重计算单元，用于计算所述数据段去重后的分散度；

第一判断单元，用于判断所述分散度是否大于分散阈值；

第一触发单元，用于在所述分散度不大于所述分散阈值时，触发所述确定所述数据块为重复数据的步骤；

第一存储单元，用于在所述分散度大于所述分散阈值时，则将所述数据段存储至所述缓存设备的数据区域。