[发明专利]一种删除目录项的方法、系统、设备和存储介质

说明书

本发明提供了一种删除目录项的方法、系统、设备和存储介质，方法包括：将游离目录中待删除的目录项填充到对应的结构体中，对所述结构体进行编码，并将编码后的结构体以事件的形式写入日志文件中；将所述待删除的目录项的元数据删除，在当前线程之外新增存储线程，并判断流控参数是否符合预设要求；响应于所述流控参数符合预设要求，依次读取所述日志文件中的每个事件；以及将每个所述事件对应的待删除的目录项的信息放入所述存储线程，并对所述待删除的目录项的实际内容进行删除。本发明通过将删除的目录项的元数据写入日志文件，删除相应的元数据，同时用另一个线程读取日志文件中的删除事件进行删除下发，可以较好完成对删除过程的控制，提高产品的稳定性。

技术领域

本领域涉及分布式文件系统领域，更具体地，特别是指一种删除目录项的方法、系统、设备和存储介质。

背景技术

目前，分布式文件系统用来存储海量数据，当海量文件进行删除时，存在如下问题：①由于删除数据量较大，流控不及时、效果不好，导致存储池压力过大，影响其他业务的进行，比如读写操作；②删除的文件进入游离目录，导致mds(meta data server，元数据服务)占用内存过大，甚至会导致节点内存耗尽，存在潜在风险；③节点重启或mds异常重启时，需要等待游离目录加载完成，才可对外提供服务，由于游离目录中文件过多，从磁盘中加载时间较长，影响正常业务。

发明内容

有鉴于此，本发明实施例的目的在于提出一种删除目录项的方法、系统、计算机设备及计算机可读存储介质，本发明当游离目录中文件的元数据信息写入日志文件并落盘后，会删除游离目录中的文件的元数据，只需要在删除文件的时候，读取日志文件中的元数据信息并解析，解决了游离目录中文件占用内存过大的问题，同时，故障切换时，不需要加载游离目录，解决了故障切换时间长的问题。通过控制读取日志文件中文件元数据条目，可以更好的对删除进行控制，极大的增强了产品的稳定性和市场竞争力。

基于上述目的，本发明实施例的一方面提供了一种删除目录项的方法，包括如下步骤：将游离目录中待删除的目录项填充到对应的结构体中，对所述结构体进行编码，并将编码后的结构体以事件的形式写入日志文件中；将所述待删除的目录项的元数据删除，在当前线程之外新增存储线程，并判断流控参数是否符合预设要求；响应于所述流控参数符合预设要求，依次读取所述日志文件中的每个事件；以及将每个所述事件对应的待删除的目录项的信息放入所述存储线程，并对所述待删除的目录项的实际内容进行删除。

在一些实施方式中，所述对所述结构体进行编码包括：将所述待删除的目录项的元数据转换成二进制流的形式。

在一些实施方式中，所述判断流控参数是否符合预设要求包括：判断第一流控参数和第二流控参数中是否至少有一个小于预设阈值。

在一些实施方式中，方法还包括：响应于每读取所述日志文件中的一个事件，将所述第一流控参数加一，并根据所述事件对应的待删除的目录项的类型调整所述第二流控参数。

在一些实施方式中，所述根据所述事件对应的待删除的目录项的类型调整所述第二流控参数包括：判断读取的事件对应的待删除的目录项的类型是文件还是目录；响应于待删除的目录项的类型是文件，将所述第二流控参数增加所述文件占用的对象的个数；以及响应于待删除的目录项的类型是目录，将所述第二流控参数增加所述目录和所有的目录分片的总和。

在一些实施方式中，方法还包括：响应于对所述待删除的目录项的实际内容删除完成，将所述第一流控参数减一，并根据所述待删除的目录项的类型调整所述第二流控参数。

在一些实施方式中，方法还包括：响应于对所述待删除的目录项的实际内容删除完成，根据读取所述待删除的目录项对应的事件的位置删除无效的日志文件。