[发明专利]一种分布式文件系统中提高小文件读取效率的方法有效
申请号: | 201810359241.3 | 申请日: | 2018-04-20 |
公开(公告)号: | CN108717420B | 公开(公告)日: | 2022-04-15 |
发明(设计)人: | 王晓强;李迪 | 申请(专利权)人: | 北京鲸鲨软件科技有限公司 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/182 |
代理公司: | 北京风雅颂专利代理有限公司 11403 | 代理人: | 朱亲林 |
地址: | 100195 北京市海淀区玉*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 文件系统 提高 文件 读取 效率 方法 | ||
1.一种分布式文件系统中提高小文件读取效率的方法,其特征在于,包括:
在分布式文件系统挂载节点中构建缓存单元;其中,所述分布式文件系统包括分布式文件系统挂载节点以及分布式文件存储节点且分布式文件存储于所述分布式文件存储节点中;
当存在文件读取操作时,所述分布式文件系统挂载节点将向所述分布式文件存储节点发送lookup操作;基于所述lookup操作判断目标文件是否为小文件;其中,所述小文件为文件大小小于预设文件大小阈值的文件;
若所述目标文件为小文件,则将小文件对应的文件内容作为所述lookup操作的扩展属性并返回到所述分布式文件系统挂载节点中;
提取所述lookup操作的扩展属性中的文件内容并且将所述文件内容存储到所述缓存单元中;
在所述分布式文件系统挂载节点的缓存单元中进行文件的打开、读取以及关闭操作;
其中,所述lookup操作的扩展属性存放于所述lookup操作的参数xdata中。
2.根据权利要求1所述的方法,其特征在于,所述判断目标文件是否为小文件的步骤还包括:
基于所述lookup操作,在所述分布式文件存储节点中找到目标文件并且得到目标文件的大小;
将目标文件的大小与预设的文件大小阈值进行比较,判断目标文件的大小是否小于预设的文件大小阈值;
若目标文件的大小小于预设的文件大小阈值,则目标文件为小文件;
否则,目标文件不是小文件,则按照正常数据读取操作。
3.根据权利要求1所述的方法,其特征在于,所述在所述分布式文件系统挂载节点的缓存单元中进行文件的打开、读取以及关闭操作的步骤包括:
若检测到打开操作,则从分布式文件系统挂载节点向用户反馈一个匿名文件描述符;其中,所述匿名文件描述符为虚拟或者空置的文件描述符;
进一步判断是否存在读取操作,若检测到读取操作,则在所述分布式文件系统挂载节点的缓存单元中执行打开目标文件的操作。
4.根据权利要求1所述的方法,其特征在于,所述将所述文件内容存储到所述缓存单元中的步骤还包括:
检测当前缓存单元中的文件数量;
判断所述文件数量是否超过预设的文件数量限制;
若是,则将所述缓存单元中访问频率最低的文件以及超过预设时效的文件清除掉。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京鲸鲨软件科技有限公司,未经北京鲸鲨软件科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810359241.3/1.html,转载请声明来源钻瓜专利网。