[发明专利]一种在线数据压缩在存储中的集成方法及系统有效
| 申请号： | 201710112767.7 | 申请日： | 2017-02-28 |
| 公开（公告）号： | CN106877877B | 公开（公告）日： | 2020-11-27 |
| 发明（设计）人： | 赵鹏 | 申请（专利权）人： | 苏州浪潮智能科技有限公司 |
| 主分类号： | H03M7/30 | 分类号： | H03M7/30;G06F3/06 |
| 代理公司： | 济南舜源专利事务所有限公司 37205 | 代理人： | 张亮 |
| 地址： | 215100 江苏省苏州市吴*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 在线 数据压缩 存储 中的 集成 方法 系统 | ||
本发明提供一种在线数据压缩在存储中的集成方法及系统，将IO数据写入上层缓存中；压缩模块根据预设的压缩量将上层缓存中多个IO数据进行组合压缩，形成组合压缩IO数据块；压缩模块针对组合压缩IO数据块中的每个IO数据对应生成一元数据，元数据用于记录压缩前后的每个IO数据处于磁盘中的位置；压缩模块将组合压缩IO数据块以及与该组合压缩IO数据块内部IO数据相对应的元数据下发给下层缓存；下层缓存保存组合压缩IO数据块和元数据；下层缓存将保存的组合压缩IO数据块和元数据保存到后端磁盘。数据经过压缩后才会下发到后端磁盘，这样利用较少的磁盘空间存储较大的数据，提高磁盘的空间利用率和整个存储系统的性能。
技术领域
本发明涉及数据存储领域，尤其涉及一种在线数据压缩在存储中的集成方法及系统。
背景技术
当今社会数据量暴增，这个对整个IT的结构造成了严重的冲击，尤其是磁盘容量的需求越来越大，这无疑增加了企业的成本。为了降低数据的存储量，通常采用将数据压缩后进行储存，而传统的压缩一般是非实时压缩，传统压缩首先是将数据存储到后端磁盘，然后在存储系统空闲的时候，从后端磁盘将数据读取出来进行压缩，压缩完毕后将压缩的IO存储到磁盘，这样数据压缩无法预估数据的压缩率，需要再次从磁盘读取出来进行压缩，压缩数据是非实时生效的。
发明内容
为了克服上述现有技术中的不足，本发明提供一种在线数据压缩在存储中的集成方法，方法包括：
将IO数据写入上层缓存中；
压缩模块根据预设的压缩量将上层缓存中多个IO数据进行组合压缩，形成组合压缩IO数据块；
压缩模块针对组合压缩IO数据块中的每个IO数据对应生成一元数据，元数据用于记录压缩前后的每个IO数据处于磁盘中的位置；
压缩模块将组合压缩IO数据块以及与该组合压缩IO数据块内部IO数据相对应的元数据下发给下层缓存；
下层缓存保存组合压缩IO数据块和元数据；
下层缓存将保存的组合压缩IO数据块和元数据保存到后端磁盘。
优选地，主机接口层接收读IO数据请求，并在上层缓存中读取IO数据；
若在上层缓存中读取到所述IO数据，则将IO数据返回给主机接口层。
优选地，若在上层缓存中未读取到所述IO数据，则将IO数据读请求发送至压缩模块，在压缩模块中读取IO数据；
若在压缩模块中读取到所述IO数据，则将IO数据返回给上层缓存，继而返回至主机接口层。
优选地，若在压缩模块中未读取到所述IO数据，则将IO数据读请求发送至下层缓存，在下层缓存读取所述IO数据的元数据，根据元数据信息查找到对应的组合压缩IO数据块内的IO数据；
若在下层缓存中读取到所述IO数据，则将IO数据所在的组合压缩IO数据块返回至压缩模块，压缩模块对所述组合压缩IO数据块进行解压，恢复IO数据；
将IO数据返回给上层缓存，继而返回至主机接口层。
优选地，若在下层缓存中未读取到所述IO数据，则在后端磁盘读取所述IO数据的元数据，根据元数据信息查找到对应的组合压缩IO数据块内的IO数据；
若在后端磁盘中读取到所述IO数据，则将IO数据所在的组合压缩IO数据块返回至压缩模块，压缩模块对所述组合压缩IO数据块进行解压，恢复IO数据；
将IO数据返回给上层缓存，继而返回至主机接口层。
优选地，预设的压缩量的获取方式包括：
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司，未经苏州浪潮智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201710112767.7/2.html，转载请声明来源钻瓜专利网。
