[发明专利]快照实现方法及分布式存储集群有效
申请号: | 202011025570.8 | 申请日: | 2020-09-25 |
公开(公告)号: | CN112052218B | 公开(公告)日: | 2023-04-25 |
发明(设计)人: | 兰英;苏伟 | 申请(专利权)人: | 杭州宏杉科技股份有限公司 |
主分类号: | G06F16/11 | 分类号: | G06F16/11;G06F16/182;G06F3/06 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 杨春香 |
地址: | 310053 浙江省杭州市滨江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 快照 实现 方法 分布式 存储 集群 | ||
本申请提供一种快照实现方法及分布式存储集群。集群节点针对快照前后为同一逻辑区间分配的不同Segment,指定该不同Segment对应数据存储到同一磁盘。并向该磁盘对应磁盘管理模块通告该不同Segment之间的依赖关系。磁盘管理模块根据本地记录的各Segment之间的依赖关系以及各Segment与Block的映射关系,处理该逻辑区间的IO请求。本申请不需要跨磁盘处理同一逻辑区间的IO请求,可有效提升IO处理性能,且可减轻集群节点的内存开销,减轻集群元数据服务器的负载压力。
技术领域
本申请涉及存储技术领域,尤其涉及一种快照实现方法及分布式存储集群。
背景技术
快照(Snapshot)通常指针对指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在拷贝时间点的映像。
在分布式存储集群中,通常以逻辑单元号(Logical Unit Number,LUN)为单位创建快照。每一个LUN按照预设Segment大小(比如,256MB)划分为多个逻辑区间。每一个逻辑区间在发生实际写入时被映射到Segment。每一个Segment按照快照粒度大小(比如,64KB)划分为多个子逻辑区间。每一个Segment对应一个写入位图。写入位图中的每一位对应Segment中的一个子逻辑区间,用于标识对应子逻辑区间是否已写入数据。
集群节点在内存中组织各Segment对应的写入位图。随着写入数据量的不断增加,分配的Segment越来越多,内存需要维护的写入位图的数量也随之增多,这将极大消耗集群节点的内存资源。且在写入过程中不断更新的写入位图需要存储到集群元数据服务器中,这在一定程度上导致IO处理延时,同时,增加集群元数据服务器的负载压力。
此外,由于创建快照前后同一逻辑区间被映射到不同Segment,而不同Segment的数据往往被指定存储到不同磁盘,这导致后续针对该逻辑区间的访问,需要跨磁盘操作,影响IO处理性能。
发明内容
有鉴于此,本申请提出一种快照实现方法及分布式存储集群,用以减少内存开销,减轻集群元数据服务器的负载压力,同时,可提升集群的IO处理性能。
为实现上述申请目的,本申请提供了如下技术方案:
第一方面,本申请提供一种快照实现方法,所述分布式存储集群配置有至少一个LUN,每一个LUN按照预设Segment大小划分为多个逻辑区间,每一个LUN对应一个映射表,LUN的映射表用于记录LUN中已映射的逻辑区间与Segment的标识的映射关系以及该逻辑区间对应的Snap标志,所述Snap标志用于指示下次向该逻辑区间写入数据时是否分配新的Segment;所述分布式存储集群包括至少一个集群节点,每一个集群节点包括至少一块用于存储数据的磁盘,每一个集群节点针对本节点上每一块磁盘部署对应的磁盘管理模块,每一块磁盘按照预设Block大小划分为多块Block,所述Block大小小于所述Segment大小,每一个Segment按照预设快照粒度大小划分为多个子逻辑区间,所述快照粒度大小等于所述Block大小,每一个Segment对应一个映射表,Segment的映射表用于记录Segment中已映射的子逻辑区间与Block的标识的映射关系,所述分布式存储集群还包括Segment管理模块,所述方法包括:
接收到针对目标LUN的写请求的目标集群节点确定所述写请求在所述目标LUN中对应的至少一个目标逻辑区间,并将所述写请求拆分成针对每一个目标逻辑区间的子写请求;
针对每一个目标逻辑区间执行如下处理:
所述目标集群节点从所述目标LUN的映射表中,查询与当前目标逻辑区间对应的第一Segment的标识以及Snap标志;
如果所述当前目标逻辑区间的Snap标志指示需要分配新的Segment,则所述目标集群节点向所述Segment管理模块发送用于请求分配Segment的分配请求;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州宏杉科技股份有限公司,未经杭州宏杉科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011025570.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:快照实现方法及装置
- 下一篇:数据冗余方法及分布式存储集群