[发明专利]一种分布式文件删除方法、装置和系统

说明书

技术领域

本发明涉及分布式文件技术领域，特别是涉及一种分布式文件删除方法、装置和系统。

背景技术

随着网络应用的迅速发展，网络信息数据量越来越大，海量数据存储变得越来越重要。传统意义的本地磁盘存储方式已不能满足现有应用的大容量、高可靠性、高性能、横向扩展等要求，为满足这些新要求，基于网络的分布式存储系统得到了广泛重视。

以一种典型的分布式文件系统为例，底层采用对象存储的方式，当客户端对文件进行读写、删除等操作时，都会先与元数据节点MDS进行通信，在获得目标文件的元数据信息之后，根据操作类型，继续向MDS发出请求，如果是读写操作，则需要MDS从所有的对象存储节点OSD上获取文件的实际数据，直接返回给客户端或者进行改写后落盘，而若是删除操作，会首先确认构成文件数据的各对象在OSD上的分布，然后逐一地发送删除命令，等待所有的数据对象删除完成之后再向客户端返回操作成功信息，客户端在接收到该操作成功信息后确定该数据对象删除完成，再下发下一删除请求。

对于客户端来说，删除操作相较读写操作是非常轻量级的操作类型，理应快速完成，但具体到后端的分布式文件系统，删除操作与读写操作所经过的输入输出IO路径却相同，这种处理方式等待响应时间较长，所带来的延时非常明显，尤其是在执行海量小文件的批量删除操作时，甚至会影响用户的正常业务。

发明内容

有鉴于此，本发明实施例提供一种分布式文件删除方法和系统，以解决现有技术中删除操作与读写操作所经过的输入输出IO路径却相同，这种处理方式等待响应时间较长，所带来的延时非常明显，尤其是在执行海量小文件的批量删除操作时，甚至会影响用户的正常业务的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种分布式文件数据删除方法，包括：

接收客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；

依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；

根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除。

其中，所述根据所述数据删除请求确定需删除文件的文件信息，将所述文件信息存入数据库中包括：

根据所述数据删除请求确定所述需删除数据的索引节点信息；

根据所述索引节点信息通过一致性哈希算法确定所述需删除数据所在文件的文件名称，及所述需删除数据在所述文件中的位置信息；

根据所述文件名称和所述位置信息形成键值KV对，将所述KV对存入数据库中。

其中，所述每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除包括：

每隔预设时间间隔获取所述数据库内的所有所述KV对；

根据所述KV对通过一致性哈希算法定位所述需删除数据所在的存储节点OSD；

向所述OSD发送删除指令，所述OSD将所述需删除数据进行删除。

其中，所述向所述OSD发送删除指令，所述OSD将所述需删除数据进行删除后还包括：

判断是否在预定时间内接收到所述OSD发送的第二删除成功信息；

若否，则向所述OSD再次发送删除指令。

一种分布式文件数据删除装置，包括：接收反馈模块、信息更新模块和数据删除模块；其中，

所述接收反馈模块，用于接收客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；

所述信息更新模块，用于依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；

所述数据删除模块，用于根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除。

其中，所述数据删除模块包括：第一确定单元、第二确定单元和存储单元；其中，

所述第一确定单元，用于根据所述数据删除请求确定所述需删除数据的索引节点信息；

所述第二确定单元，用于根据所述索引节点信息通过一致性哈希算法确定所述需删除数据所在文件的文件名称，及所述需删除数据在所述文件中的位置信息；

所述存储单元，用于根据所述文件名称和所述位置信息形成键值KV对，将所述KV对存入数据库中。