[发明专利]数据压缩方法及装置有效
申请号: | 201910031849.8 | 申请日: | 2019-01-14 |
公开(公告)号: | CN109814809B | 公开(公告)日: | 2022-03-11 |
发明(设计)人: | 扈海龙 | 申请(专利权)人: | 杭州宏杉科技股份有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F12/1009 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 林祥 |
地址: | 310053 浙江省杭州市滨江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据压缩 方法 装置 | ||
本申请提供一种数据压缩方法及装置,方法包括:依据热度统计表确定属于冷点数据区的LBA;选择一个条块;针对每一LBA,在地址映射表中查找该LBA对应的PBA,读取该PBA上的冷点数据;对读取的冷点数据压缩,判断当前所选条块空闲空间大小是否大于压缩后的冷点数据大小;若是,则将压缩后的冷点数据保存至当前所选条块;若否,则重新选择一个条块,并返回执行判断所选条块的空闲空间大小是否大于压缩后的冷点数据的大小的步骤。通过热度统计表获得属于冷点数据区的冷点数据,无需每条数据都占用一个条块,从而可对冷点数据进行压缩并进行拼接存储,尽量填满所选的条块,使得条块的剩余空间达到最小,提升存储的整体压缩比。
技术领域
本申请涉及数据数据处理技术领域,尤其涉及一种数据压缩方法及装置。
背景技术
目前的存储系统在保存数据时,通常会对数据进行压缩处理,以减少需要存储的数据量,节省存储空间的使用。对于压缩后数据的大小与数据实际内容有关,如果数据内容重复率高,压缩后数据的大小比较小,如果数据内容重复率低,压缩后数据的大小比较大,因此即使相同大小的数据,经过压缩后的大小也不同,如何分配存储空间存储这些大小不一的数据成为重中之重。
在相关技术中,通过采用数据分区方式实现压缩后数据的存储,即将实际的存储空间划分成大小不等的条块(如1KB、4KB、8KB、16KB、32KB等),当获得压缩后数据时,根据压缩后数据的大小选择适合大小的条块进行存储。然而,这种方法对任何数据都是统一压缩再存储,并未考虑数据的自身特性,每条压缩后数据单独占用一个条块,且被占用条块中的剩余空间不能被重复利用,从而降低了存储的整体压缩比。
发明内容
有鉴于此,本申请提供一种数据压缩方法及装置,以解决现有的压缩方式的整体压缩比不高的问题。
根据本申请实施例的第一方面,提供一种数据压缩方法,所述方法应用于存储设备,所述存储设备设有的存储空间被划分为多个条块,且每个条块对应有一个物理区块地址PBA,所述方法包括:
依据预先建立的热度统计表确定至少一个属于冷点数据区的逻辑区块地址LBA,所述热度统计表包括LBA与热度值的对应关系,所述属于冷点数据区的LBA对应的热度值位于第一预设范围;
从所述存储空间中选择一个条块;
针对获取的每一LBA,在地址映射表中查找该LBA对应的PBA,并读取该PBA上的冷点数据;
采用第一压缩算法对读取的冷点数据进行压缩,并判断当前所选条块的空闲空间大小是否大于压缩后的冷点数据的大小;
若是,则将压缩后的冷点数据保存至当前所选条块的空闲空间中,并利用当前所选条块对应的PBA更新地址映射表中该LBA对应的PBA;
若否,则从所述存储空间中重新选择一个条块,并返回执行判断所选条块的空闲空间大小是否大于压缩后的冷点数据的大小的步骤。
根据本申请实施例的第二方面,提供一种数据压缩装置,所述装置应用于存储设备,所述存储设备设有的存储空间被划分为多个条块,且每个条块对应有一个物理区块地址PBA,所述装置包括:
LBA确定模块,用于依据预先建立的热度统计表确定至少一个属于冷点数据区的LBA,所述热度统计表包括LBA与热度值的对应关系,所述属于冷点数据区的LBA对应的热度值位于第一预设范围;
选择模块,用于从所述存储空间中选择一个条块;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州宏杉科技股份有限公司,未经杭州宏杉科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910031849.8/2.html,转载请声明来源钻瓜专利网。