[发明专利]一种构建元数据缓存的方法及装置有效
申请号: | 201811405321.4 | 申请日: | 2018-11-23 |
公开(公告)号: | CN109684282B | 公开(公告)日: | 2021-01-01 |
发明(设计)人: | 赵辉;李志然 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F16/172 | 分类号: | G06F16/172;G06F16/182 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 冯艳莲 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 构建 数据 缓存 方法 装置 | ||
一种构建元数据缓存的方法及装置,包括:MDS接收元数据请求,若树形缓存结构中不存在第一目录的缓存节点且自身为归属MDS,可创建第一目录的缓存节点,根据第一目录的标识读取OSD中存储的第一元数据文件,将第一元数据文件的内容并保存到第一目录对应的缓存节点中。由于第一元数据文件的内容包括第一目录的子项的元数据信息,通过上述处理,无需从OSD中依次读取子树根目录到第一目录的路径上每个目录的元数据文件,就可以构建出满足元数据处理要求的缓存结构,从而有效减少从OSD读盘的次数,缩短元数据请求的处理时间,提高元数据处理效率。
技术领域
本发明涉及计算机技术领域,特别涉及一种构建元数据缓存的方法及装置。
背景技术
分布式文件系统中,元数据服务器(metadata server,MDS)通常采用动态子树分区的方式管理元数据缓存,如图1所示,整个用户的目录树被分成多个动态子树分区,每个MDS负责管理其中部分动态子树的元数据缓存,处理动态子树下的元数据操作,并维护元数据缓存与对象存储设备(object storage devices,OSD)中存储的元数据文件的一致性。
由于MDS采用树形的缓存结构管理元数据缓存,当MDS对某一文件或目录的元数据信息进行处理时,MDS需构建出该文件或目录所在的动态子树的子树根目录至该文件或目录的路径上所有目录的缓存结构。
现有技术中,当MDS接收到对某一文件或目录的元数据进行处理的元数据请求,但该MDS中不存在该文件或目录的父目录的元数据缓存时,会触发发现(discover)流程,首先查询该文件或目录所在的动态子树的子树根目录到当前文件或目录的路径,然后由子树根目录开始逐层向下进行查找(lookup)操作。每一次lookup操作中,在父目录的元数据缓存中查找子目录的元数据信息,若子目录的元数据信息不存在,根据父目录的元数据文件在OSD中的存储位置,从OSD中读取父目录的元数据文件的内容,并保存到父目录的元数据缓存中。可以看出,现有技术中每构建一级元数据缓存需要进行一次lookup操作,这使得子树根目录到待操作的文件或目录的路径越长,discover流程中lookup的次数越多,discover流程的耗时也越长。尤其是在MDS刚接管原先由故障MDS管理的动态子树的情况下,由于需要重建动态子树的缓存结构,接管后的前几次元数据请求触发的discover流程几乎每次lookup操作都需要去OSD中读取元数据文件,更是明显增加了discover流程的耗时,使得元数据处理的效率较差。
发明内容
本申请提供一种构建元数据缓存的方法及装置,用以解决现有技术中discover流程耗时较长,元数据处理效率较差的技术问题。
第一方面,本申请实施例提供一种构建元数据缓存的方法,该方法包括:元数据服务器接收客户端代理设备发送的元数据请求,所述元数据请求中包括第一标识和第二标识,所述第一标识为第一目录的标识,所述第二标识为所述第一目录的子项的标识;若所述元数据服务器保存的树形缓存结构中不存在所述第一目录对应的缓存节点,且所述元数据服务器为所述子项所在的动态子树的归属元数据服务器,所述元数据服务器在所述树形缓存结构中创建所述第一目录对应的缓存节点;所述元数据服务器根据所述第一标识,读取存储设备中存储的第一元数据文件,并将所述第一元数据文件的内容保存到所述第一目录对应的缓存节点,所述第一元数据文件为所述第一目录的元数据文件,所述第一元数据文件的内容包括所述子项的元数据信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811405321.4/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置