[发明专利]数据存储方法及装置

说明书

技术领域

本发明涉及数据存储技术领域，尤其涉及一种数据存储方法及装置。

背景技术

压缩算法已经被广泛地应用于计算机系统中来有效地节省存储空间，特别是对于超融合一体机虚拟机来说，经常通过压缩算法来节省存储空间。

现有的数据处理方式，在将数据从内存写入到存储系统中时，对数据进行压缩处理，但是其压缩处理速度参差不齐，这是由于不同数据的可压缩性不同，压缩算法对于那些已经压缩过的数据、随机化数据等可压缩性低的数据的处理速度很慢，而在压缩过程中，会对所有的待存储数据都进行同样的压缩处理，就会造成在压缩处理一些可压缩性低的待存储数据时，压缩处理占用的时间长，造成数据压缩效率低、系统的CPU负担大，导致I/O(Input/Output，输入/输出)延时。

发明内容

本发明提供一种数据存储方法及装置，其主要目的在于解决在数据存储时，由于数据压缩效率低、系统的CPU负担大，导致I/O延时的问题。

为实现上述目的，本发明提供一种数据存储方法，该数据存储方法包括：

在接收到写数据请求时，对所述写数据请求对应的待存储数据进行采样处理获取样本数据，计算所述样本数据的信息熵，并根据计算得到的所述信息熵判断所述待存储数据是否可压缩；

若根据所述信息熵判定所述待存储数据可压缩，则将所述待存储数据进行压缩处理后写入到存储系统；

若根据所述信息熵判定所述待存储数据不可压缩，则将所述待存储数据写入到所述存储系统。

可选地，所述对所述写数据请求对应的待存储数据进行采样处理获取样本数据，计算所述样本数据的信息熵，并根据计算得到的所述信息熵判断所述待存储数据是否可压缩的步骤包括：

对所述写数据请求对应的待存储数据进行全局采样处理获取全局样本数据，计算所述全局样本数据的信息熵；

判断所述全局样本数据的信息熵是否小于第一预设阈值，其中，当所述全局样本数据的信息熵小于所述第一预设阈值时，判定所述待存储数据可压缩。

可选地，所述对所述写数据请求对应的待存储数据进行采样处理获取样本数据，计算所述样本数据的信息熵，并根据计算得到的所述信息熵判断所述待存储数据是否可压缩的步骤包括：

对所述写数据请求对应的待存储数据进行全局采样处理获取全局样本数据，计算所述全局样本数据的信息熵；

当所述全局样本数据的信息熵小于第一预设阈值时，从所述待存储数据中抽取一段连续的数据作为局部样本数据，计算所述局部样本数据的信息熵；

判断所述局部样本数据的信息熵是否小于第二预设阈值，其中，当所述局部样本数据的信息熵小于所述第二预设阈值时，判定所述待存储数据可压缩。

可选地，所述对所述写数据请求对应的待存储数据进行全局采样处理获取全局样本数据，计算所述全局样本数据的信息熵的步骤包括：

按照预设采样间隔对所述待存储数据进行全局采样处理，获取全局样本数据；

计算获取到的所述全局样本数据中各个字节的出现频度，并根据所述各个字节的出现频度计算所述全局样本数据的所述信息熵。

可选地，所述预设采样间隔包括多个不同的间隔值，在按照预设采样间隔从所述待存储数据中取样的过程中，每相邻两次抽取样本数据时使用的所述间隔值不同。

此外，为实现上述目的，本发明还提供一种数据存储装置，该数据存储装置包括：

样本采集模块，用于在接收到写数据请求时，对所述写数据请求对应的待存储数据进行采样处理获取样本数据；

信息熵计算模块，用于计算所述样本数据的信息熵；

压缩判断模块，用于根据计算得到的所述信息熵判断所述待存储数据是否可压缩；

数据存储模块，用于若根据所述信息熵判定所述待存储数据可压缩，则将所述待存储数据进行压缩处理后写入到存储系统；

所述数据存储模块，还用于若根据所述信息熵判定所述待存储数据不可压缩，则将所述待存储数据写入到所述存储系统。

可选地，所述信息熵计算模块还用于：对所述写数据请求对应的待存储数据进行全局采样处理获取全局样本数据，计算所述全局样本数据的信息熵；

所述压缩判断模块还用于：判断所述全局样本数据的信息熵是否小于第一预设阈值，其中，当所述全局样本数据的信息熵小于所述第一预设阈值时，判定所述待存储数据可压缩。

可选地，所述信息熵计算模块还用于：对所述写数据请求对应的待存储数据进行全局采样处理获取全局样本数据，计算所述全局样本数据的信息熵；