[发明专利]分布式存储系统中的协同压缩在审
申请号: | 201910710727.1 | 申请日: | 2019-08-02 |
公开(公告)号: | CN110795497A | 公开(公告)日: | 2020-02-14 |
发明(设计)人: | 李舒;周平 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;H04L29/08;G06F3/06;G06F16/22 |
代理公司: | 11644 北京清源汇知识产权代理事务所(特殊普通合伙) | 代理人: | 冯德魁;窦晓慧 |
地址: | 英属开曼群岛大开*** | 国省代码: | 开曼群岛;KY |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 存储单元 分布式存储系统 控制模块 通信模块 压缩模块 压缩 操作过程 持久存储 存储操作 存储节点 存储数据 数据发 触发 存储 申请 | ||
本申请描述的实施例提供了一种系统,该系统包括存储单元、控制模块、压缩模块和通信模块。在操作过程中,存储单元可以存储数据。控制模块确定存储在存储单元的数据是否触发了分布式存储系统中的存储操作。然后,压缩模块通过使用比数据的位更少的位对数据进行编码来压缩数据。最后,通信模块将压缩数据发送到分布式存储系统中的多个存储节点以进行持久存储。
相关申请
本申请要求发明人李舒于2018年8月2日提交的第62/713906号美国临时申请的优先权,其代理所案卷号为ALI-A15933USP,发明名称为“与分布式系统协同压缩以提高效率和性能(Compression Collaboration with Distributed System for Efficiency andPerformance Enhancement)”,其全部内容通过引用结合在本申请中。
技术领域
本公开一般涉及存储管理领域,更具体地,本公开涉及一种在分布式存储系统的客户端节点和存储节点之间促进协同压缩的系统和方法。
背景技术
在物理和虚拟设备上运行的各种应用程序对计算资源的需求不断增加。因此,设备供应商竞相建造容量更大、速度更快的具有通用功能的计算设备(例如处理器、存储设备、存储器设备等)。然而,计算设备的能力不可能无限增长。它受物理空间、功耗和设计复杂性等诸多因素的限制。此外,具有更高性能的计算设备通常更加复杂和昂贵。更重要的是,由于过于庞大和复杂的系统往往不能提供规模经济,简单地增加计算设备的规模和能力以适应更高的计算需求在经济上可能证明是不可行的。
随着对计算的需求不断增加,对大容量存储设备的需求也在增加。这种存储设备通常需要能够提供大存储容量以及高效存储/检索数据的存储技术。其中一种存储技术可以基于与非(NAND)闪存设备(或闪存装置)。NAND闪存设备能够以低成本提供高容量存储。因此,作为一种持久存储解决方案,NAND闪存设备已成为传统硬盘驱动器(HDD)的主要竞争对手。为了提高NAND闪存设备的效率,接收到的用于存储的数据通常在存储到存储单元之前被压缩。这个压缩过程可以通过使用比接收到的位更少的位对数据进行编码来压缩数据。
尽管数据压缩为NAND闪存设备带来了许多理想的高效数据存储功能,但在分布式存储系统中高效数据压缩仍存在许多问题。
发明内容
本申请描述的实施例提供了一种系统,该系统包括存储单元、控制模块、压缩模块和通信模块。在操作过程中,存储单元可以存储数据。控制模块确定存储在存储单元中的数据是否触发了分布式存储系统中的存储操作。然后,压缩模块通过使用比数据的位更少的位对数据进行编码来压缩数据。随后,通信模块将压缩数据发送到分布式存储系统中的多个存储节点以进行持久存储。
在本实施例的变体中,存储操作响应于以下其中一种情况而被触发:存储在存储单元中的数据达到阈值,以及存储单元的计时器到期。
在本实施例的变体中,控制模块可以从分布式存储服务的主节点查询压缩数据的存储路径。存储路径可以指示该多个存储节点。
在另外的变体中,控制模块基于与数据相关联的元数据查询主节点以获取压缩数据的位置,并基于来自主节点的查询响应从该多个存储节点确定存储节点。然后,通信模块向存储节点发送对压缩数据的读取请求。
在另外的变体中,通信模块从存储节点接收具有原始位的数据。
在本实施例的变体中,系统还可以包括对数据执行存储读取操作的接口模块。执行存储读取操作以从存储单元读取数据并将数据传输到一个或多个存储节点以进行持久存储。
在本实施例的变体中,系统还可以包括组织模块,该组织模块对数据应用一组组织操作,组织操作不包括在将数据存储在存储单元中之前压缩电路的操作。该组组织操作包括如下操作中的一个或多个:加密、数据验证、纠错码(ECC)编码和数据加扰。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910710727.1/2.html,转载请声明来源钻瓜专利网。