[发明专利]一种元数据缓存管理方法和装置在审
申请号: | 201910505339.X | 申请日: | 2019-06-12 |
公开(公告)号: | CN110232049A | 公开(公告)日: | 2019-09-13 |
发明(设计)人: | 葛凯凯;邬沛君 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/172 | 分类号: | G06F16/172;G06F16/182;G06F9/54 |
代理公司: | 深圳翼盛智成知识产权事务所(普通合伙) 44300 | 代理人: | 黄威 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 元数据 缓存队列 目标元数据 元数据访问请求 方法和装置 元数据标识 缓存管理 数据类型 分布式文件系统 元数据服务器 缓存命中率 元数据访问 缓存 淘汰 读写 队头 命中 访问 携带 保留 | ||
本发明实施例公开了一种元数据缓存管理方法和装置。元数据服务器接收元数据访问请求,元数据访问请求携带有元数据标识;根据元数据访问请求,从多个元数据缓存队列获取元数据标识对应的目标元数据,多个元数据缓存队列具有不同的优先级;确定目标元数据对应的数据类型;基于数据类型、以及多个元数据缓存队列的优先级,从多个元数据缓存队列中确定目标元数据缓存队列,将目标元数据存入目标元数据缓存队列的队头。以此,在缓存淘汰时先淘汰优先级低的元数据缓存队列,并尽可能地保留访问频繁的元数据,使得进行元数据访问时,访问频繁的元数据可以直接被命中,提高了元数据的缓存命中率,进而提高分布式文件系统的读写效率。
技术领域
本发明涉及分布式存储技术领域,具体涉及一种元数据缓存管理方法和装置。
背景技术
Cephfs(Ceph file system,分布式文件系统)包括元数据服务器(MetadataServer,MDS)、和对象存储设备(Object-based Storage Device,OSD),其中,元数据服务器用于管理元数据(如缓存元数据),对象存储设备用于将数据和元数据作为对象存储,也就是说,分布式文件系统采用数据和元数据分离的管理方式。
用户可以通过客户端实现对文件的访问,首先通过文件的路径和文件名查找出文件的元数据,然后通过元数据对文件进行读写操作。所以,要对文件操作首先要查找到对应的元数据,故元数据访问的性能直接影响文件系统的读写性能。
在对现有技术的研究和实践过程中,本发明的发明人发现,现有技术中,Cephfs的元数据缓存管理多是基于时间局部性原理,采用通用的单LRU(Least recently used,最近最少使用)机制管理元数据缓存,这种管理机制存在缓存命中率低的缺陷,导致Cephfs的读写效率差。
发明内容
本发明实施例提供一种元数据缓存管理方法和装置,旨在提高元数据的缓存命中率,进而提高分布式文件系统的读写效率。
本发明实施例提供一种元数据缓存管理方法,包括:
接收元数据访问请求,所述元数据访问请求携带有元数据标识;
根据所述元数据访问请求,从多个元数据缓存队列获取所述元数据标识对应的目标元数据,其中,所述多个元数据缓存队列具有不同的优先级;
确定所述目标元数据对应的数据类型;
基于所述数据类型、以及所述多个元数据缓存队列的优先级,从所述多个元数据缓存队列中确定目标元数据缓存队列,并将所述目标元数据存入所述目标元数据缓存队列的队头。
本发明实施例还提供一种元数据缓存管理装置,包括:
请求处理单元,用于接收元数据访问请求,所述元数据访问请求携带有元数据标识;
元数据查找单元,用于根据所述元数据访问请求,从多个元数据缓存队列获取所述元数据标识对应的目标元数据,其中,所述多个元数据缓存队列具有不同的优先级;
类型识别单元,用于确定所述目标元数据对应的数据类型;
队列管理单元,用于基于所述数据类型、以及所述多个元数据缓存队列的优先级,从所述多个元数据缓存队列中确定目标元数据缓存队列,并将所述目标元数据存入所述目标元数据缓存队列的队头。
本发明实施例还提供一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一元数据缓存管理方法。
本发明实施例还提供一种元数据服务器,所述元数据服务器包括存储器、处理器及存储在所述存储器上,并可在所述处理器上运行的元数据缓存管理程序,所述元数据缓存管理程序被所述处理器执行时实现本发明实施例所提供的任一元数据缓存管理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910505339.X/2.html,转载请声明来源钻瓜专利网。