[发明专利]一种存储压缩方法及系统

说明书

本发明实施例公开了一种存储压缩方法及系统，包括设置负载阈值，当主机向存储写入IO数据时，判断当前负载是否超过所述负载阈值；若否，对数据进行在线压缩处理，并写入磁盘；若是，将数据标记为未压缩，直接写入磁盘；持续判断当前负载是否超过所述负载阈值；在未超过负载阈值时，对所述标记为未压缩的数据进行离线压缩处理。本发明在进行数据存储前，根据当前存储负载，将数据分为在线压缩和离线压缩相结合的处理方式，减小负载压力，以达到压缩数据节省存储空间避开存储负载高峰期，将对存储性能的影响降到最小。

技术领域

本发明涉及计算机存储技术领域,具体地说是一种存储压缩方法及系统。

背景技术

在当前信息化应用越来越广的社会背景下，云计算、大数据带来了数据的海量增长，各企业在数据存储上的投资也越来越大，为了在有限的存储设备上能够存储更多的数据，达到节省存储空间的目的，各企业级存储厂商陆续推出了存储压缩技术。压缩即将一个大字符串中的子串用一个很简短的数字来标记，然后检索该字符串出现的位置，用个简单的字符来替代。从而来减少数据表达所需要的空间，达到空间节省的目的。

由于存储压缩技术存在着压缩前后数据字节长度改变的情况，因此对数据的读写方式和存储方式都带来了影响，影响的最大表现就是开启压缩后存储性能的下降。压缩导致的存储性能下降主要体现在：由于数据压缩导致数据块大小发生变化，每个压缩后的块都需要单独存储一次地址的映射关系，而且还要额外维护一次元数据的写，在进行数据读取时还需要对压缩数据的一个解压过程。

所以当前压缩一方面带来了空间节省，另一方面导致了存储性能的下降。

发明内容

本发明实施例中提供了一种存储压缩方法及系统，以解决现有技术中数据压缩导致存储性能下降的问题。

为了解决上述技术问题，本发明实施例公开了如下技术方案：

本发明第一方面提供了一种存储压缩方法，包括以下步骤：

设置负载阈值，当主机向存储写入IO数据时，判断当前负载是否超过所述负载阈值；

若否，对数据进行在线压缩处理，并写入磁盘；

若是，将数据标记为未压缩，直接写入磁盘；

持续判断当前负载是否超过所述负载阈值；

在未超过负载阈值时，对所述标记为未压缩的数据进行离线压缩处理。

进一步地，所述对数据进行在线压缩处理的具体过程为：

检测数据是否为热数据；

若是，则不进行压缩，直接将数据写入磁盘；

若否，检测IO的压缩比是否小于压缩阈值；

若是，则不进行压缩，直接将数据写入磁盘；

若否，对数据进行压缩，将压缩后的数据写入磁盘。

进一步地，所述对所述标记为未压缩的数据进行离线压缩处理的具体过程为：

扫描磁盘，得到磁盘中未压缩的数据，检测未压缩的数据是否为热数据；

若是，则不作处理；

若否，检测未压缩数据IO的压缩比是否小于压缩阈值；

若是，则不作处理；

若否，对磁盘中未压缩数据进行压缩。

进一步地，对检测为热数据的数据进行标记，并存入热数据库中，用于下次热数据的检测。

本发明第二方面提供了一种存储压缩系统，所述系统包括：