[发明专利]缓存设备数据的离线去重压缩方法、装置及可读存储介质

摘要

本发明实施例公开了一种缓存设备数据的离线去重压缩方法、装置及可读存储介质，用于减少缓存设备去重和压缩对整体存储系统IO性能的影响，并节省缓存设备存储空间。本发明实施例方法包括：读取缓存设备上预设长度的数据段，判断数据段的修改次数是否大于第一阈值；若不大于，将数据段划分为预设粒度的数据块，并计算数据块的指纹；查询缓存设备的指纹库，判断指纹库中是否存在所述指纹；若存在指纹，则确定该数据块属于重复数据，并将数据块的元数据信息存储至缓存设备的元数据区域，元数据信息包括数据块在数据段中的顺序、数据块的物理存储地址及数据块的长度。

主权项

1.一种缓存设备数据的离线去重压缩方法，其特征在于，包括：读取缓存设备上预设长度的数据段，判断所述数据段的修改次数是否大于第一阈值；若不大于，将所述数据段划分为预设粒度的数据块，并计算所述数据块的指纹；查询所述缓存设备的指纹库，判断所述指纹库中是否存在所述指纹；若存在所述指纹，则确定所述数据块为重复数据，并将所述数据块的元数据信息存储至所述缓存设备的元数据区域，所述元数据信息包括所述数据块在所述数据段中的顺序、所述数据块的物理存储地址及所述数据块的长度。