[发明专利]分布式集群系统大文件删除方法、装置、设备及存储介质

说明书

本发明实施例公开了一种分布式集群系统大文件删除方法、装置、设备及计算机可读存储介质。其中，方法包括客户端在接收到大文件删除请求后，按照预设文件拆分策略将大文件拆分为多个删除单元，并将各删除单元放入待处理请求队列中；每次从待处理请求队列中选取预设个数的删除单元构建删除请求发送至后端进行删除处理，直至待处理请求队列为空。本申请采用异步发送删除请求，由客户端控制删除请求下发频率来间接调节删除速率，删除操作不会影响系统读写业务的正常运行，将同步等待删除完成而引发的高时延降到最低，解决了相关技术中大文件删除过程中占用大量内存存在的弊端，提高了分布式文件系统整体的删除性能，有利于提升前端响应速度。

技术领域

本发明实施例涉及分布式集群系统技术领域，特别是涉及一种分布式集群系统大文件删除方法、装置、设备及计算机可读存储介质。

背景技术

随着云计算、大数据的快速发展，数据呈现爆炸式增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，已经无法满足信息爆炸时代指数倍增长的数据的存储需求，分布式集群系统应用而生。

分布式集群系统(Distributed File System)为基于客户端/服务器模式的文件系统管理的物理存储资源，通过计算机网络与节点相连，可以有效解决数据的存储和管理难题。将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。用户在使用分布式集群系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。

目前分布式文件系统在删除大文件(例如2TB的文件)时，为了确保文件被删除且释放空间，通常是选择同步等待删除，不仅时延较高，而且大文件占用大量内存，当删除的文件较多时，极易影响正常业务的运行，严重时甚至会导致系统崩溃。

发明内容

本公开实施例提供了一种分布式集群系统大文件删除方法、装置、设备及计算机可读存储介质，解决分布式文件系统大文件删除过程中内存占用的问题。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种分布式集群系统大文件删除方法，基于客户端，包括：

当接收到大文件删除请求，按照预设文件拆分策略将所述大文件拆分为多个删除单元，并将各删除单元放入待处理请求队列中；

每次从所述待处理请求队列中选取预设个数的删除单元构建删除请求发送至后端进行删除处理，直至所述待处理请求队列为空。

可选的，所述按照预设文件拆分策略将所述大文件拆分为多个删除单元包括：

以预设第一容量值为单位将所述大文件拆分为多个子文件；

将每个子文件拆分为多个容量值为第二容量值的删除单元。

可选的，所述第二容量值为所述后端的存储单元容量值。

可选的，所述接收到大文件删除请求之后，还包括：

在同步落盘的日志中记录所述大文件删除请求的删除操作信息；

其中，所述删除操作信息在接收到所述后端反馈的所有删除请求均完成后被删除。

可选的，所述接收到大文件删除请求之后，还包括：

向前端返回删除成功的信息。

本发明实施例另一方面提供了一种分布式集群系统大文件删除装置，基于客户端，包括：

文件拆分模块，用于当接收到大文件删除请求，按照预设文件拆分策略将所述大文件拆分为多个删除单元，并将各删除单元放入待处理请求队列中；