[发明专利]一种压缩方法、系统及电子设备和存储介质

说明书

本申请公开了一种压缩方法、系统及一种电子设备和计算机可读存储介质，该方法包括：获取待压缩数据块，并确定所述待压缩数据块的数据大小级别；其中，所述数据大小级别与所述待压缩数据块的数据大小呈负相关；若所述数据大小级别为一级，则确定抽样点数量和抽样区域大小；根据所述抽样点数量和所述抽样区域大小对所述待压缩数据块进行抽样得到抽样数据；计算所述抽样数据的信息熵，当所述信息熵小于信息熵阈值时对所述待压缩数据块进行压缩。由此可见，本申请提供的压缩方法通过识别和避免压缩不可压缩数据，在不显著增加存储开销的条件下，提升压缩吞吐率，降低资源开销。

技术领域

本申请涉及存储技术领域，更具体地说，涉及一种压缩方法、系统及一种电子设备和一种计算机可读存储介质。

背景技术

随着数据总量的爆炸式增长，大规模数据存储成为挑战，同时企业购买存储设备的成本也不断增加。由于数据压缩技术能够消除冗余数据，进而减少磁盘等存储设备的I/O(中文全称：输入/输出，英文全称：Input/Output)时间和增加缓存数据的容量，因此数据压缩已经广泛地应用到各级存储系统中。

然而，压缩算法需要消耗系统资源，如果压缩空间节省能带来的优势超过压缩开销，系统的整体性能能够提升。相反，如果压缩率低甚至增加存储开销，压缩就会降低性能和浪费资源。为了降低压缩的资源开销，需要识别可压缩与不可压缩数据，避免压缩不可压缩的数据。

在现有技术中，可以基于前缀预测，即通过压缩局部数据块来推测整体的压缩率。当数据冗余度较低且缺乏局部性时，基于前缀预测的压缩方案存在误判和预测不准确的问题，导致损失较多的压缩率。

因此，如何以较低的压缩率损失为代价，降低压缩的资源开销是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种压缩方法、系统及一种电子设备和一种计算机可读存储介质，以较低的压缩率损失为代价，降低了压缩的资源开销。

为实现上述目的，本申请提供了一种压缩方法，包括：

获取待压缩数据块，并确定所述待压缩数据块的数据大小级别；其中，所述数据大小级别与所述待压缩数据块的数据大小呈负相关；

若所述数据大小级别为一级，则确定抽样点数量和抽样区域大小；

根据所述抽样点数量和所述抽样区域大小对所述待压缩数据块进行抽样得到抽样数据；

计算所述抽样数据的信息熵，若所述信息熵小于信息熵阈值则对所述待压缩数据块进行压缩。

其中，所述确定所述待压缩数据块的数据大小级别，包括：

判断所述待压缩数据块的数据大小是否小于第一数据大小阈值；

若所述数据大小小于所述第一数据大小阈值，则将所述待压缩数据块的数据大小级别确定为一级；

若所述数据大小大于或等于所述第一数据大小阈值，则将所述数据大小级别确定为二级。

其中，所述判断所述数据大小是否小于第一数据大小阈值之前，还包括：

判断所述待压缩数据块的数据大小是否小于第二数据大小阈值；其中，所述第一数据大小阈值大于所述第二数据大小阈值；

若所述数据大小小于所述第二数据大小阈值，则将所述数据大小级别确定为三级，并对所述待压缩数据块进行压缩；

若所述数据大小大于或等于所述第二数据大小阈值，则执行所述判断所述数据大小是否小于第一数据大小阈值的步骤。

其中，还包括：

若所述数据大小级别为二级，则根据预设前缀大小读取所述待压缩数据块的前缀数据；