[发明专利]一种分布式存储系统及其存储方法有效
申请号: | 201910095775.4 | 申请日: | 2019-01-31 |
公开(公告)号: | CN111506253B | 公开(公告)日: | 2023-06-20 |
发明(设计)人: | 段培乐 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京鼎佳达知识产权代理事务所(普通合伙) 11348 | 代理人: | 王伟锋;刘铁生 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 存储系统 及其 存储 方法 | ||
1.一种分布式存储系统,其特征在于,包括:
元数据管理单元,设置于内存,用于根据数据热度阈值获取内存中的冷元数据,发送至元数据写入单元;
所述元数据写入单元,设置于内存,用于将所述冷元数据写入磁盘存储单元;
所述磁盘存储单元,用于响应元数据访问请求,并根据预设时间间隔对所存储的元数据创建快照;
所述磁盘存储单元在根据预设时间间隔对所存储的元数据创建快照时,还用于:
基于内存的执行检查点机制接收所述元数据写入单元写入的冷元数据,生成元数据落盘信息,所述检查点机制用于在磁盘中存储内存映像数据;
根据所述元数据落盘信息创建快照,得到对应所述内存映像数据的快照数据,所述快照数据记录了磁盘存储单元中存储的元数据。
2.根据权利要求1所述的系统,其特征在于,所述元数据写入单元还用于,向所述磁盘存储单元异步写入所述冷元数据。
3.根据权利要求1所述的系统,其特征在于,还包括:
元数据访问单元,用于判断所述磁盘存储单元中是否存在元数据访问请求中的待访问元数据。
4.根据权利要求3所述的系统,其特征在于,所述元数据访问单元还用于:
在所述元数据访问请求对应的待访问元数据未存储在内存中时,判断所述磁盘存储单元中是否存在所述待访问元数据;
若存在,则通过预置接口访问所述磁盘存储单元,查找所述待访问元数据;
若不存在,则反馈不存在所述待访问元数据。
5.根据权利要求4所述的系统,其特征在于,所述元数据访问请求至少包括对待访问元数据的增加、删除、修改以及查找操作中的任一种或多种操作。
6.根据权利要求1所述的系统,其特征在于,所述磁盘存储单元还用于:
在基于内存的执行检查点机制接收所述元数据写入单元写入的冷元数据之前,根据所处理的元数据修改操作,在磁盘中写入对应的修改操作日志;
根据所述修改操作日志,将当前处理中的元数据访问请求处理完成之后,暂停未处理的元数据访问请求。
7.根据权利要求1所述的系统,其特征在于,还包括:
获取单元,用于根据接收到的元数据恢复请求,从磁盘中获取对应的修改操作日志、内存映像数据以及快照数据;
恢复单元,用于利用所述内存映像数据恢复内存中的元数据,以及利用所述快照数据恢复磁盘存储单元中的元数据;
所述元数据访问单元还用于,执行所述修改操作日志之后记录的元数据修改操作。
8.一种分布式存储系统的存储方法,其特征在于,包括:
根据元数据写入请求,判断内存的可用存储空间是否小于阈值;
若小于所述阈值,则利用元数据管理单元将内存中的冷元数据移动至元数据写入单元;
根据预置时间间隔,将元数据写入单元中的冷元数据通过预置接口写入磁盘存储单元;
由所述磁盘存储单元创建快照具体包括:
在对内存执行检查点机制,生成内存映像数据时,将所述元数据写入单元中的冷元数据写入所述磁盘存储单元,生成元数据落盘信息;
根据所述元数据落盘信息对所述磁盘存储单元中的元数据创建快照,得到对应所述内存映像数据的快照数据。
9.根据权利要求8所述的方法,其特征在于,还包括:
由所述磁盘存储单元创建快照,所述快照用于在系统故障恢复过程中恢复所述磁盘存储单元中存储的元数据。
10.根据权利要求8所述的方法,其特征在于,在将所述元数据写入单元中的冷元数据写入所述磁盘存储单元之前,还包括:
根据所述磁盘存储单元处理的元数据修改操作,在磁盘中写入对应的修改操作日志;
根据所述修改操作日志,将当前处理中的元数据访问请求处理完成,暂停未处理的元数据访问请求。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910095775.4/1.html,转载请声明来源钻瓜专利网。