[发明专利]分布式文件系统的文件删除方法、装置、设备及存储介质有效
申请号: | 201811496211.3 | 申请日: | 2018-12-07 |
公开(公告)号: | CN109614377B | 公开(公告)日: | 2022-04-22 |
发明(设计)人: | 罗浩 | 申请(专利权)人: | 浪潮电子信息产业股份有限公司 |
主分类号: | G06F16/16 | 分类号: | G06F16/16;G06F16/182 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 罗满 |
地址: | 250101 山东*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 文件系统 文件 删除 方法 装置 设备 存储 介质 | ||
本发明实施例公开了一种分布式文件系统的文件删除方法、装置、设备及计算机可读存储介质。其中,方法包括接收到客户端发送的文件删除请求后,在游离目录的磁盘空间占用值超过预设缓存阈值时,将文件删除请求排入预先建立的延迟删除等待队列;在检测到对象存储服务器完成当前删除请求后,从延迟删除等待队列中唤醒文件删除请求,以使对象存储服务器执行文件删除操作;其中,缓存阈值不大于元数据服务器本地缓存空间容量值与分布式文件系统正常运行时所需占用元数据服务器缓存空间容量值之差值。本申请可降低大量文件删除动作对分布式文件系统正常业务处理的影响,有利于提升分布式文件系统的读写业务性能。
技术领域
本发明实施例涉及分布式文件系统技术领域,特别是涉及一种分布式文件系统的文件删除方法、装置、设备及计算机可读存储介质。
背景技术
随着云技术、大数据的快速发展,数据呈现爆炸性增长,分布式文件系统应用越来越广,使用的业务场景也相对越来越多,自然地,分布式文件系统的海量文件删除操作为分布式文件系统应用过程中不可避免的场景。
相关技术在删除分布式文件系统的文件时,通常利用MDS(Meta DataController,元数据服务器)将待删除文件的元数据挂载在扁平化的游离目录下,然后向客户端返回文件删除成功的信息。
但是,游离目录下的文件删除为异步处理,待删除文件的元数据还存储在MDS的本地缓存中,文件删除速度依赖于OSD(Object-based Storage Device,对象存储服务器)的删除速度,若MDS短时间内删除大量文件,会导致这些文件元数据占用MDS缓存空间较大,甚至超过MDS本地缓存空间的大小,严重影响分布式文件系统其它业务的正常运行。
发明内容
本公开实施例提供了一种分布式文件系统的文件删除方法、装置、设备及计算机可读存储介质,有利于提升分布式文件系统的读写业务性能,降低短时间删除海量文件对分布式系统性能的影响。
为解决上述技术问题,本发明实施例提供以下技术方案:
本发明实施例一方面提供了一种分布式文件系统的文件删除方法,包括:
当接收到客户端发送的文件删除请求,判断游离目录的磁盘空间占用值是否超过预设缓存阈值;
若是,则将所述文件删除请求排入预先建立的延迟删除等待队列;
当检测到对象存储服务器完成当前删除请求,从所述延迟删除等待队列中唤醒所述文件删除请求,以使所述对象存储服务器执行文件删除操作;
其中,所述缓存阈值不大于所述元数据服务器本地缓存空间容量值与分布式文件系统正常运行时所需占用元数据服务器缓存空间容量值之差值。
可选的,所述从所述延迟删除等待队列中唤醒所述文件删除请求之后,还包括:
向所述客户端返回文件删除成功信息,以使所述客户端发送下一个文件删除请求。
可选的,还包括:
若游离目录的磁盘空间占用值没有超过预设缓存阈值,则将所述文件删除请求对应的待删除文件的元数据挂载至游离目录中,以等待所述对象存储服务器进行异步删除处理。
可选的,所述从所述延迟删除等待队列中唤醒所述文件删除请求包括:
判断所述延迟删除等待队列是否为空;
若否,则从所述延迟删除队列中选择加入队列时间最早的文件删除请求进行唤醒。
本发明实施例另一方面提供了一种分布式文件系统的文件删除装置,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮电子信息产业股份有限公司,未经浪潮电子信息产业股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811496211.3/2.html,转载请声明来源钻瓜专利网。