[发明专利]全闪存阵列的存储数据压缩方法、装置、及可读存储介质

说明书

本发明实施例公开了一种全闪存阵列的存储数据压缩方法、装置及可读存储介质，用于提高存储系统的空间利用率。本发明实施例方法包括：判断性能层的当前存储容量是否大于安全阈值；若不大于，则读取性能层中预设长度的数据段；将数据段划分为预设粒度的数据块，并计算数据块的指纹；查询容量层的指纹库，判断指纹库中是否存在指纹；若存在指纹，则确定该数据块为重复数据块，并将数据块的元数据信息回写至容量层的元数据区域，元数据信息包括数据块在数据段中的顺序、数据块的物理存储地址及数据块的长度。本发明实施例还提供了一种全闪存阵列的存储数据压缩装置，用于提高存储系统的IO性能和存储效率。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种全闪存阵列的存储数据压缩方法、装置及可读存储介质。

背景技术

全闪存阵列：闪存固态盘(SSD)被广泛用于机械硬盘的缓存，例如Ceph和ZFS，这主要因为闪存固态盘有良好的随机IO性能，而传统的机械硬盘在随机IO性能的支持方面表现不佳，目前存储系统部署全闪存设备成为普遍趋势，以全面提升存储系统的整体性能。考虑到SSD的成本远远贵于现在的机械硬盘，而同时在当下云计算和虚拟化环境下，存储系统存在大量的重复冗余数据，通过数据去重和压缩技术可以扩展SSD存储系统的逻辑存储空间，提升SSD的设备使用率，达到降低SSD成本的目的。

一般而言，全闪存阵列的物理架构分为容量层(读缓存)和性能层(写缓存)，一般分别由pcie SSD和sata SSD组成(但也不限制)，这主要是由于SSD读写性能不对称决定的，一般读速度远高于写速度，同时pcie SSD比sata SSD的耐用性更强，所以如何部署性能层和容量层之间的数据存储策略，以提高全闪存阵列性能层的响应速度，保障全闪存阵列性能层有更好的写入带宽及时延，同时提升全闪存阵列容量层的存储空间，成为当前的研究热点。

发明内容

本发明实施例提供了一种全闪存阵列的存储数据压缩方法、装置及可读存储介质，用于提高全闪存阵列性能层的响应速度，保障全闪存阵列性能层有更好的写入带宽及时延，同时提升全闪存阵列容量层的存储空间，从而提高存储系统的IO性能。

本发明实施例第一方面提供了一种全闪存阵列的存储数据压缩方法，全闪存阵列包括性能层和容量层，该方法包括：

判断性能层的当前存储容量是否大于安全阈值；

若不大于，则读取性能层中预设长度的数据段；

将数据段划分为预设粒度的数据块，并计算数据块的指纹；

查询容量层的指纹库，判断指纹库中是否存在指纹；

若存在指纹，则确定该数据块为重复数据，并将数据块的元数据信息回写至容量层的元数据区域，元数据信息包括数据块在数据段中的顺序、数据块的物理存储地址及数据块的长度。

优选的，该方法还包括：

判断数据段的修改次数是否大于第一阈值；

若不大于，则触发将数据段划分为预设粒度的数据块的步骤。

若大于，则直接将数据段回写至容量层的数据区域。

优选的，该方法还包括：

判断性能层的当前存储带宽是否大于带宽阈值；

若不大于，则触发将数据段划分为预设粒度的数据块的步骤；

若大于，则直接将数据段回写至容量层的数据区域。

优选的，该方法还包括：

以压缩长度编码表示去重压缩后的数据块的长度；

元数据包括数据块的顺序、逻辑地址及压缩长度编码。

优选的，该方法还包括：