[发明专利]分布式数据删除流控方法、装置、电子设备及存储介质

权利要求书

1.一种分布式数据删除流控方法，其特征在于，所述方法包括：

接收到客户端发送的数据删除请求时，将所述数据删除请求添加至配置的处理队列中，同时向所述客户端返回数据删除成功的信息；

每隔预设时间段获取所述处理队列中的数据删除请求；

根据所述数据删除请求确定对应的待删除数据的索引信息；

将所述待删除数据的索引信息存入配置的数据库中；

获取删除周期内的当前统计周期对应的流控阈值，包括：判断当前统计周期是否为第一个统计周期；当确定所述当前统计周期不为第一个统计周期时，获取上一个统计周期内用户应用的IO负载，根据所述上一个统计周期内用户应用的IO负载，确定所述当前统计周期对应的流控阈值，包括：获取上一个统计周期内用户应用的每一个IO的数据块大小，计算所述上一个统计周期内的IO的平均数据块大小；获取所述上一个统计周期内的每个数据块的传输时延，计算所述上一个统计周期内的IO的平均数据块时延；获取预先设置的IO的数据块大小的基准值及对应的数据块时延的基准值；根据所述上一个统计周期内的所述IO的平均数据块大小、平均数据块时延、数据块大小的基准值、对应的数据块时延的基准值，计算所述上一个统计周期内的IO负载强度；根据所述上一个统计周期内的IO负载强度，利用预先训练好的负载分类模型确定所述上一个统计周期内的IO负载类别；根据上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值；

基于所述当前统计周期对应的流控阈值，将所述数据库中的所述索引信息对应的数据进行删除。

2.如权利要求1所述的方法，其特征在于，所述根据所述数据删除请求确定对应的待删除数据的索引信息包括：

从多个存储节点中找到存储有所述数据删除请求对应的待删除数据的存储节点；

根据所述数据删除请求从匹配出的存储节点中获取所述待删除数据的索引信息。

3.如权利要求1所述的方法，其特征在于，所述获取删除周期内的当前统计周期对应的流控阈值还包括：

当确定所述当前统计周期为第一个统计周期时，将预设流控阈值确定为所述当前统计周期对应的流控阈值。

4.如权利要求1所述的方法，其特征在于，所述根据所述上一个统计周期内的所述IO的平均数据块大小、平均数据块时延、数据块大小的基准值、对应的数据块时延的基准值，计算所述上一个统计周期内的IO负载强度的计算公式为：其中，X为上述上一个统计周期内的所述IO的平均数据块大小，Y为所述平均数据块时延，M为所述数据块大小的基准值，N为所述对应的数据块时延的基准值。

5.如权利要求1或4所述的方法，其特征在于，所述负载分类模型的训练过程包括：

获取正样本的IO负载数据及负样本的IO负载数据，并将正样本的IO负载数据标注负载类别，以使正样本的IO负载数据携带IO负载类别标签；

将所述正样本的IO负载数据及所述负样本的IO负载数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练支持向量机分类模型，并利用所述验证集验证训练后的所述支持向量机分类模型的准确率；

若所述准确率大于或者等于预设准确率阈值时，则结束训练，以训练后的所述支持向量机分类模型作为负载分类模型识别所述当前统计周期内的IO负载类别。

6.如权利要求1所述的方法，其特征在于，所述根据上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值包括：

当所述上一个统计周期内的IO负载类别为高负载类别时，将所述上一个统计周期对应的流控阈值降低第一预设幅度，得到当前统计周期对应的流控阈值；

当所述上一个统计周期内的IO负载类别为低负载类别时，将所述上一个统计周期对应的流控阈值提高第二预设幅度，得到下一个统计周期对应的流控阈值；

当所述上一个统计周期内的IO负载类别为正常负载类别时，将所述上一个统计周期对应的流控阈值作为当前统计周期对应的流控阈值。