[发明专利]一种元数据读取方法、装置、设备及可读存储介质在审
申请号: | 201810697820.9 | 申请日: | 2018-06-29 |
公开(公告)号: | CN109002503A | 公开(公告)日: | 2018-12-14 |
发明(设计)人: | 李旭东 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 罗满 |
地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 元数据 读取 元数据目录 可读存储介质 目标客户端 热度 文件系统性能 缓存 读取请求 读取效率 读取装置 技术效果 接收目标 客户端 发送 访问 关联 | ||
本发明公开了一种元数据读取方法,包括:接收目标客户端发送的元数据读取请求;判断请求对应的元数据目录项是否符合预读取规则;若是,则确定请求对应的元数据目录项所在的目录分片,并将目录分片包括的多个元数据目录项缓存至目标客户端;其中,目录分片依据元数据目录项的访问热度划分而得。该方法可使目标客户端在元数据的正常读取过程中,预读取到了与之相关的其他元数据,因此提高了元数据的读取效率;并且,以目录分片关联访问热度类似或相同的元数据目录项,提高了元数据预读取的准确性,从而可提升文件系统性能。相应地,本发明公开的一种元数据读取装置、设备及可读存储介质,也同样具有上述技术效果。
技术领域
本发明涉及数据读取技术领域,更具体地说,涉及一种元数据读取方法、装置、设备及可读存储介质。
背景技术
在分布式文件系统中,数据文件的访问遵循局部性原理。即:如果一个文件正在被访问,那么它在近期很可能会被再次访问或者将来要访问的文件的地址与当前被访问文件的地址在空间上是相邻的,即遵循空间局部性。一般地,如果一个文件被访问的比较频繁,那它周围的文件或者目录也会经常被访问。对于元数据,也同样存在着空间局部性原理,所以为了减少元数据访问的延时,可以根据历史访问记录预读元数据至客户端缓存,以提高元数据的读取速率。
目前,现有技术一般通过预读当前访问目录的关联部分来提高元数据的读取速率。但是,由于文件系统中元数据的目录容量一般比较大,如果直接以访问频率高的元数据所在的父目录作为预读的对象,可能会由于要预读的数据量较大,而影响文件系统的业务处理性能,也会导致预读到的元数据中的大部分元数据都是无用的元数据,真正有用的元数据仅占其中的一小部分;并且,客户端缓存的容量有限,无法存储较多的数据。因此现有技术的预读方式不仅会影响文件系统的性能,而且其读取的效率和准确性也有待提高。
因此,如何提高元数据的读取效率和准确性,是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种元数据读取方法、装置、设备及可读存储介质,以提高元数据的读取效率和准确性。
为实现上述目的,本发明实施例提供了如下技术方案:
一种元数据读取方法,包括:
接收目标客户端发送的元数据读取请求;
判断所述请求对应的元数据目录项是否符合预读取规则;
若是,则确定所述请求对应的元数据目录项所在的目录分片,并将所述目录分片包括的多个元数据目录项缓存至所述目标客户端;
其中,所述目录分片依据元数据目录项的访问热度划分而得。
其中,所述判断所述请求对应的元数据目录项是否符合预读取规则,包括:
判断所述请求对应的元数据目录项是否被划分至所述目录分片。
其中,所述确定所述请求对应的元数据目录项所在的目录分片,包括:
根据所述请求对应的元数据目录项所属的访问热度值,确定所述请求对应的元数据目录项所在的目录分片。
其中,所述元数据目录项与所述目标分片的对应关系由所述元数据目录名通过HASH计算映射而得。
其中,所述接收目标客户端发送的元数据读取请求之后,还包括:
判断所述请求对应的元数据目录项是否存在;
若是,则查找所述请求对应的元数据目录项的时间戳队列,并在所述时间戳队列中添加时间访问点;
若否,则创建所述请求对应的元数据目录项,并为所述请求对应的元数据目录项添加时间戳队列。
其中,所述创建所述请求对应的元数据目录项,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810697820.9/2.html,转载请声明来源钻瓜专利网。