[发明专利]缓存设备数据的离线去重压缩方法、装置及可读存储介质

说明书

本发明实施例公开了一种缓存设备数据的离线去重压缩方法、装置及可读存储介质，用于减少缓存设备去重和压缩对整体存储系统IO性能的影响，并节省缓存设备存储空间。本发明实施例方法包括：读取缓存设备上预设长度的数据段，判断数据段的修改次数是否大于第一阈值；若不大于，将数据段划分为预设粒度的数据块，并计算数据块的指纹；查询缓存设备的指纹库，判断指纹库中是否存在所述指纹；若存在指纹，则确定该数据块属于重复数据，并将数据块的元数据信息存储至缓存设备的元数据区域，元数据信息包括数据块在数据段中的顺序、数据块的物理存储地址及数据块的长度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种缓存设备数据的离线去重压缩方法、装置及可读存储介质。

背景技术

压缩算法已经被广泛地应用于计算机系统中来有效地节省存储空间。而且根据各大IT公司(比如IBM、EMC等)公布的数据，在虚拟机环境下，使用GZIP压缩算法可以有效地节省多达一半的存储空间。但是现有的压缩算法具有压缩效率高但是压缩处理速度参差不齐。这是因为压缩算法对于那些已经压缩过的或者是随机化的数据压缩处理速度很慢，计算开销大。这样将压缩算法实时应用在SSD缓存中，会带来IO时延抖动和性能下降的问题，从而影响SSD缓存性能效果。

根据IDC和Gartner提供的数据，在虚拟化环境下，数据中心的数据去重在桌面虚拟化、服务器虚拟化等主要场景可以获得3-8倍的数据去重比收益，可以大幅度降低数据存储设备的成本，提升数据存储效率。但是数据去重需要计算指纹和查找指纹，并增加元数据管理开销，所以将数据去重实时应用在SSD缓存中，也会给SSD缓存增加性能代价。

此外，数据去重和压缩后的数据更新由于数据去重管理和压缩长度的变化，只能做异地更新处理，这带来了数据更新的碎片化问题和空间垃圾回收的难度，这样对数据去重和压缩后的数据读性能和更新操作都带来了IO性能下降的影响。

发明内容

本发明实施例提供了一种缓存设备数据的离线去重压缩方法、装置及可读存储介质，用于减少缓存设备去重和压缩对整体存储系统IO性能的影响。

本发明实施例第一方面提供了一种缓存设备数据的离线去重压缩方法，包括：

读取缓存设备上预设长度的数据段，判断数据段的修改次数是否大于第一阈值；

若不大于，将数据段划分为预设粒度的数据块，并计算数据块的指纹；

查询缓存设备的指纹库，判断指纹库中是否存在所述指纹；

若存在所述指纹，则确定该数据块为重复数据，并将该数据块的元数据信息存储至缓存设备的元数据区域，元数据信息包括数据块在数据段中的顺序、数据块的物理存储地址及数据块的长度。

优选的，在若存在指纹之后，确定该数据块为重复数据之前，该方法还包括：

计算数据段去重后的分散度；

判断分散度是否大于分散阈值；

若不大于，则触发确定该数据块为重复数据的步骤；

若大于，则将数据段存储至缓存设备的数据区域。

优选的，在读取缓存设备上预设长度的数据段之前，该方法还包括：

判断缓存设备的存储带宽是否大于带宽阈值；

若不大于，则触发读取缓存设备上预设长度的数据段的步骤；

若大于，则执行其他流程。

优选的，在判断数据段的修改次数是否大于第一阈值之后，方法还包括：

若大于第一阈值，则将数据段直接存储至缓存设备的数据区域；

在判断指纹库是否存在指纹之后，该方法还包括：