[发明专利]一种数据压缩方法、装置、设备及存储介质

说明书

本申请提供了一种数据压缩方法、装置、设备及存储介质，一种数据压缩方法包括：多个待压缩数据块；根据关联策略对多个待压缩数据块进行压缩，获得一个或者多个压缩块；关联策略包括多个待压缩数据块的时间属性之间的关联性和多个待压缩数据块的数据属性之间的关联性。实施本申请，能够根据不同的压缩需求调节关联策略，从而改变对多个待压缩数据块的压缩方式，满足不同的压缩需求。

技术领域

本申请涉及压缩技术领域，尤其涉及一种数据压缩方法、装置、设备及存储介质。

背景技术

块存储，主要是将裸磁盘空间整个映射给主机使用的，例如磁盘阵列(redundantarray of independent disks，RAID)里面有5块硬盘，为方便说明，假设每个硬盘1G，可以通过划逻辑盘、做Raid、或者逻辑卷等种种方式逻辑划分出N个逻辑的硬盘，假设划分完的逻辑盘也是5个，每个也是1G，但是这5个1G的逻辑盘已经与原来的5个物理硬盘意义完全不同了。例如第一个逻辑硬盘A里面，可能第一个200M是来自物理硬盘1，第二个200M是来自物理硬盘2，所以逻辑硬盘A是由多个物理硬盘逻辑虚构出来的硬盘。

块存储会采用映射的方式将这几个逻辑盘映射给主机，主机上面的操作系统会识别到有5块硬盘，但是操作系统是区分不出到底是逻辑还是物理的，它一概就认为只是5块裸的物理硬盘而已，跟直接拿一块物理硬盘挂载到操作系统没有区别的，至少操作系统感知上没有区别。

压缩是一种常见的数据缩减方法，能够降低存储成本。块存储中，文件通常是分散存储至多个数据块(block)中的，如果随机把数个数据块中的文件压缩在一起，由于这数个数据块之间可能没有相同的数据，不仅没有减小存储空间，还可能为用户读操作带来不便。

发明内容

本申请提供了一种数据压缩方法、装置、设备及存储介质，采用本申请的数据压缩方法对数据块进行压缩，能够满足对占用存储空间或压缩率或读操作等性能的需求。

第一方面，本申请提供了一种数据压缩方法，包括：获取多个待压缩数据块；根据关联策略对所述多个待压缩数据块进行压缩，获得一个或者多个压缩块；所述关联策略包括所述多个待压缩数据块的时间属性之间的关联性和所述多个待压缩数据块的数据属性之间的关联性。

可以看到，根据多个待压缩数据块的时间属性之间的关联性和数据属性之间的关联性，对多个待压缩数据块进行压缩，能满足对压缩率或待压缩数据块占用存储空间的需求。

基于第一方面，在可能的实现方式中，所述多个待压缩数据块的时间属性之间的关联性包括所述多个待压缩数据块中各个待压缩数据块被访问的时间之间的关联性；所述多个待压缩数据块的数据属性之间的关联性包括所述多个待压缩数据块中各个待压缩数据块之间的内容相似度。

可以看到，关联策略是从时间属性之间的关联性和数据属性之间的关联性多个维度来考虑的，其中，数据属性之间的关联性指的是内容相似度，根据内容相似度来对多个待压缩数据块进行压缩，比如对于相似度较高的待压缩数据块可以压缩到一起，对于内容相似度较低的待压缩数据块可以分别进行压缩，它影响了压缩率和压缩后的数据块占用存储空间的大小；时间属性之间的关联性指的是访问时间之间的关联性，根据访问时间之间的关联性对多个待压缩数据进行压缩，影响了用户读操作的方便程度。因此，关联策略影响了压缩率、占用空间大小、读操作的方便程度等。

基于第一方面，在可能的实现方式中，所述多个待压缩数据块的时间属性之间的关联性通过同时被访问次数来衡量；其中，同时被访问一次指的是在一个时间间隔中m1个待压缩数据块均被访问，同时被访问n次指的是在n个不同的时间间隔中所述m1个待压缩数据块均被访问，m1为大于1的整数。

基于第一方面，在可能的实现方式中，所述多个待压缩数据块的时间属性之间的关联性通过连续被访问次数来衡量；其中，连续被访问一次指的是在一个时间间隔中m2个待压缩数据块连续被访问，连续被访问n次指的是在n个不同的时间间隔中所述m2个待压缩数据块连续被访问，m2为大于1的整数。