[发明专利]分布式数据删除流控方法、装置、电子设备及存储介质

说明书

一种分布式数据删除流控方法，包括：接收到客户端发送的数据删除请求时，将所述数据删除请求添加至配置的处理队列中，同时向所述客户端返回数据删除成功的信息；每隔预设时间段获取所述处理队列中的数据删除请求；根据数据删除请求确定对应的待删除数据的索引信息；将所述待删除数据的索引信息存入配置的数据库中；获取删除周期内的当前统计周期对应的流控阈值；基于所述当前统计周期对应的流控阈值，将数据库中的所述索引信息对应的数据进行删除。本发明还提供一种分布式数据删除流控装置、电子设备及存储介质。本发明能够在提高大规模分布式存储系统的数据删除效率的同时，避免对正常输入输出业务性能造成明显冲击，具有很好的流控效果。

技术领域

本发明涉及计算机技术领域，具体涉及一种分布式数据删除流控方法、装置、电子设备及存储介质。

背景技术

随着网络应用的迅速发展，网络信息数据量越来越大，海量数据存储变得越来越重要。传统意义的本地磁盘存储方式已不能满足现有应用的大容量、高可靠性、高性能、横向扩展等要求，为满足这些新要求，基于网络的分布式存储系统得到了广泛重视。

尽管对于客户端来说，对分布式数据进行删除操作相较于读写操作是非常轻量级的操作类型，可以快速完成，但具体到后端的分布式文件系统，删除操作与读写操作所经过的输入输出输入输出(Input/Output，IO)路径是相同的，这种处理方式等待响应时间较长，所带来的延时非常明显，尤其是在执行海量小文件的批量删除操作时，甚至会影响用户的正常业务。

此外，文件删除操作会产生数据的输入输出(IO)，如果在分布式存储系统进行大批量文件删除操作的时候正好是用户应用的IO高峰，则文件删除操作的IO会对用户应用的IO产生影响，从而降低用户应用的使用体验，甚至产生系统故障。

发明内容

鉴于以上内容，有必要提出一种分布式数据删除流控方法、装置、电子设备及存储介质，能够在提高大规模分布式存储系统的数据删除效率的同时，避免对正常输入输出业务性能造成明显冲击，具有很好的流控效果。

本发明的第一方面提供一种分布式数据删除流控方法，所述方法包括：

接收到客户端发送的数据删除请求时，将所述数据删除请求添加至配置的处理队列中，同时向所述客户端返回数据删除成功的信息；

每隔预设时间段获取所述处理队列中的数据删除请求；

根据所述数据删除请求确定对应的待删除数据的索引信息；

将所述待删除数据的索引信息存入配置的数据库中；

获取删除周期内的当前统计周期对应的流控阈值；

基于所述当前统计周期对应的流控阈值，将所述数据库中的所述索引信息对应的数据进行删除。

优选的，所述根据所述数据删除请求确定对应的待删除数据的索引信息包括：

从多个存储节点中找到存储有所述数据删除请求对应的待删除数据的存储节点；

根据所述数据删除请求从匹配出的存储节点中获取所述待删除数据的索引信息。

优选的，所述获取删除周期内的当前统计周期对应的流控阈值包括：

判断当前统计周期是否为第一个统计周期；

当确定所述当前统计周期为第一个统计周期时，将预设流控阈值确定为所述当前统计周期对应的流控阈值；

当确定所述当前统计周期不为第一个统计周期时，获取上一个统计周期内用户应用的IO负载，根据所述上一个统计周期内用户应用的IO负载，确定所述当前统计周期对应的流控阈值。

优选的，所述根据所述上一个统计周期内用户应用的IO负载，确定所述当前统计周期对应的流控阈值包括：