[发明专利]一种分布式文件系统的文件清理方法、装置、设备及介质

说明书

本申请公开了一种分布式文件系统的文件清理方法、装置、设备及介质，涉及分布式存储集群技术领域，用于清理过期文件，针对现有技术实现难度大、耗时长且删除不及时的问题，提供了一种文件清理方法，将文件以创建时间的先后顺序进行排列，并存储到删除索引表中；当需要进行文件删除时，可以依次遍历删除索引表，并判断文件的存储时间是否超过时间阈值，以确定当前文件是否为待删除文件，代替人工完成文件清理。且由于删除索引表的排序方式，所以在遍历时，一定是从最早的文件开始遍历。当当前文件不为过期文件时，后续的文件同样如此，无需继续遍历，实现减少遍历数据量的效果，提高文件的删除效率，增强了及时性。

技术领域

本申请涉及分布式存储集群技术领域，特别是涉及一种分布式文件系统的文件清理方法、装置、设备及介质。

背景技术

随着分布式存储技术的不断发展，被广泛地应用于大量数据、对象的存储。同时，随着分布式存储系统的存储能力的不断增强，其中存储的文件数量也越来越多。

根据生命周期管理理论，文件的生命末期是不再被访问。此时，若文件仍保留在分布式存储系统中会长期占用空间，需要部署不必要的备份资源来存储这些已经不再被访问的文件，造成大量的资源浪费。且随着分布式存储系统工作时间的持续增长，产生的走入生命末期的文件也就越来越多，其占用的空间资源也就越来越大，这些文件并没有实际价值，反而需要额外的空间资源存储，对分布式存储系统的空间资源来说，是一种严重的浪费。

目前，为删除这部分随着时间推移而走入生命末期的文件，通常通过用户手动检索的方式遍历分布式存储系统中的海量文件，从中选取创建时间过早的文件进行删除。但这种方式实现起来存在很大缺陷。一方面，分布式存储系统中存储的文件是海量的，全部遍历一遍十分耗时，且由用户手动选择删除也不现实，极难实现。另一方面，由于遍历全部文件所需的时间非常长，通常以天为单位进行的，所以即使用户能做到手动选择所需删除的文件，删除也不会及时，在部分特定的应用场景中，要求分布式存储系统永远写不满，这种方法由于删除旧文件不及时，无法满足上述应用场景的需求。

所以，现在本领域的技术人员亟需要一种分布式文件系统的文件清理方法，以解决目前采用人工删除的方式实现起来难度大、耗时长且删除不及时的问题。

发明内容

本申请的目的是提供一种分布式文件系统的文件清理方法、装置、设备及介质，以解决目前采用人工删除的方式实现起来难度大、耗时长且删除不及时的问题。

为解决上述技术问题，本申请提供一种分布式文件系统的文件清理方法，应用于元数据服务器侧，包括：

依次遍历删除索引表中存储的文件，判断其创建时间与当前时间的差值是否超过预设的时间阈值，若是，则确定文件为待删除文件，若否，则停止遍历；其中，删除索引表中存储的文件为分布式存储系统中的文件，且排序方式为根据文件的创建时间先后进行排序；

将全部的待删除文件进行组合，以任务的形式下发到删除客户端，以便于删除客户端生成删除请求；

接收由删除客户端发送的删除请求；

根据删除请求删除待删除文件。

优选的，删除索引表中存储的文件为分布式存储系统中的文件包括：

删除索引表中存储的文件为分布式存储系统中匹配删除策略的文件；

其中，删除策略预先由用户进行配置，包括：文件名、文件路径和文件大小。

优选的，还包括：

每当文件在创建、读写、修改或访问时，判断文件是否匹配删除策略。

优选的，删除索引表为多层结构。

优选的，在根据删除请求删除待删除文件之前，还包括：

记录并保存各待删除文件的属性信息。