[发明专利]一种构建元数据缓存的方法及装置有效

专利信息
申请号: 201811405321.4 申请日: 2018-11-23
公开(公告)号: CN109684282B 公开(公告)日: 2021-01-01
发明(设计)人: 赵辉;李志然 申请(专利权)人: 华为技术有限公司
主分类号: G06F16/172 分类号: G06F16/172;G06F16/182
代理公司: 北京同达信恒知识产权代理有限公司 11291 代理人: 冯艳莲
地址: 518129 广东*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 构建 数据 缓存 方法 装置
【说明书】:

一种构建元数据缓存的方法及装置,包括:MDS接收元数据请求,若树形缓存结构中不存在第一目录的缓存节点且自身为归属MDS,可创建第一目录的缓存节点,根据第一目录的标识读取OSD中存储的第一元数据文件,将第一元数据文件的内容并保存到第一目录对应的缓存节点中。由于第一元数据文件的内容包括第一目录的子项的元数据信息,通过上述处理,无需从OSD中依次读取子树根目录到第一目录的路径上每个目录的元数据文件,就可以构建出满足元数据处理要求的缓存结构,从而有效减少从OSD读盘的次数,缩短元数据请求的处理时间,提高元数据处理效率。

技术领域

发明涉及计算机技术领域,特别涉及一种构建元数据缓存的方法及装置。

背景技术

分布式文件系统中,元数据服务器(metadata server,MDS)通常采用动态子树分区的方式管理元数据缓存,如图1所示,整个用户的目录树被分成多个动态子树分区,每个MDS负责管理其中部分动态子树的元数据缓存,处理动态子树下的元数据操作,并维护元数据缓存与对象存储设备(object storage devices,OSD)中存储的元数据文件的一致性。

由于MDS采用树形的缓存结构管理元数据缓存,当MDS对某一文件或目录的元数据信息进行处理时,MDS需构建出该文件或目录所在的动态子树的子树根目录至该文件或目录的路径上所有目录的缓存结构。

现有技术中,当MDS接收到对某一文件或目录的元数据进行处理的元数据请求,但该MDS中不存在该文件或目录的父目录的元数据缓存时,会触发发现(discover)流程,首先查询该文件或目录所在的动态子树的子树根目录到当前文件或目录的路径,然后由子树根目录开始逐层向下进行查找(lookup)操作。每一次lookup操作中,在父目录的元数据缓存中查找子目录的元数据信息,若子目录的元数据信息不存在,根据父目录的元数据文件在OSD中的存储位置,从OSD中读取父目录的元数据文件的内容,并保存到父目录的元数据缓存中。可以看出,现有技术中每构建一级元数据缓存需要进行一次lookup操作,这使得子树根目录到待操作的文件或目录的路径越长,discover流程中lookup的次数越多,discover流程的耗时也越长。尤其是在MDS刚接管原先由故障MDS管理的动态子树的情况下,由于需要重建动态子树的缓存结构,接管后的前几次元数据请求触发的discover流程几乎每次lookup操作都需要去OSD中读取元数据文件,更是明显增加了discover流程的耗时,使得元数据处理的效率较差。

发明内容

本申请提供一种构建元数据缓存的方法及装置,用以解决现有技术中discover流程耗时较长,元数据处理效率较差的技术问题。

第一方面,本申请实施例提供一种构建元数据缓存的方法,该方法包括:元数据服务器接收客户端代理设备发送的元数据请求,所述元数据请求中包括第一标识和第二标识,所述第一标识为第一目录的标识,所述第二标识为所述第一目录的子项的标识;若所述元数据服务器保存的树形缓存结构中不存在所述第一目录对应的缓存节点,且所述元数据服务器为所述子项所在的动态子树的归属元数据服务器,所述元数据服务器在所述树形缓存结构中创建所述第一目录对应的缓存节点;所述元数据服务器根据所述第一标识,读取存储设备中存储的第一元数据文件,并将所述第一元数据文件的内容保存到所述第一目录对应的缓存节点,所述第一元数据文件为所述第一目录的元数据文件,所述第一元数据文件的内容包括所述子项的元数据信息。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201811405321.4/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top