[发明专利]一种基于分布式存储的文件删除方法及装置

说明书

本发明公开了一种基于分布式存储的文件删除方法，包括：针对待删除的目标文件，生成目标文件的删除请求集合；获得删除请求集合中每个删除请求对应的对象存储设备的剩余处理能力；针对每个对象存储设备，根据该对象存储设备的剩余处理能力，确定是否向该对象存储设备下发删除请求；如果是，则从删除请求集合中确定待发送的删除请求，并将确定的待发送的删除请求下发给该对象存储设备，以使该对象存储设备基于接收到的删除请求执行相应的删除文件操作。应用本发明实施例所提供的技术方案，能够有效提高底层存储的工作效率，同时可以避免影响对象存储设备中其他业务的正常运转。本发明还公开了一种基于分布式存储的文件删除装置，具有相应技术效果。

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种基于分布式存储的文件删除方法及装置。

背景技术

随着互联网大数据时代的到来，诸如视频监控、广电媒资等应用场景占用的数据份额较大，大量文件多是通过分布式存储系统存储，需要的硬件资源非常多。底层存储上的文件有的具有一定的时效性，也就是说，超过一定时间之后，有些文件可以被删除，以使相应的底层存储资源能够被重复利用。

在分布式存储系统中，如果要删除一个文件，在上层文件系统层面该文件属于同步删除，而该文件在底层存储上的映射对象需要异步删除。如果文件较大，如超过1TB，则需将该文件切割，如切割成4MB的条带大小，这样1TB的文件约有262144个4MB文件分布在所有底层存储上，需要底层存储异步删除这些分割后的文件。但是如果当前底层存储处于高压力的繁忙状态，则在删除这些映射对象时，就可能会由于映射对象过多影响底层存储的其他IO操作，甚至可能超出底层存储的处理能力的上限，造成无法响应上层文件系统的任何IO操作的情况。

因此，如何在分布式存储系统中进行文件删除，避免影响底层存储各业务的正常运转，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种基于分布式存储的文件删除方法及装置，以保证在分布式存储系统中进行文件删除时，底层存储各业务能够正常运转。

为解决上述技术问题，本发明提供如下技术方案：

一种基于分布式存储的文件删除方法，该方法包括：

针对待删除的目标文件，生成所述目标文件的删除请求集合；

获得所述删除请求集合中每个删除请求对应的对象存储设备的剩余处理能力；

针对每个对象存储设备，根据该对象存储设备的剩余处理能力，确定是否向该对象存储设备下发删除请求；

如果是，则进一步从所述删除请求集合中确定待发送的删除请求，并将确定的待发送的删除请求下发给该对象存储设备，以使该对象存储设备基于接收到的删除请求执行相应的删除文件操作。

优选的，所述从所述删除请求集合中确定待发送的删除请求，包括：

确定各对象存储设备当前未处理完成的删除请求的第一总和是否达到预设的删除数量第一上限；

如果否，则根据所述删除数量第一上限与所述第一总和的差值，从所述删除请求集合中确定待发送的删除请求。

优选的，所述针对待删除的目标文件，生成所述目标文件的删除请求集合，包括：

针对待删除的目标文件，确定所述目标文件的大小；

如果所述目标文件的大小大于预设阈值，则按照设定条带大小对所述目标文件进行切割操作，获得多个切割对象；

生成每个切割对象对应的删除请求。

优选的，还包括：