[发明专利]一种消息队列缓存自动删除方法、装置、设备、存储介质

权利要求书

1.一种消息队列缓存自动删除方法，其特征在于，包括如下步骤：

获取集群内主题的配置及分布信息，并依据主题状态分发主题删除请求，并生成删除队列；

在接收到主题删除请求后，进行节点内实际数据块的解析，获取实际的待删除列表并将待删除列表加入删除队列；

依次获取删除队列，依据列表进行数据块删除。

2.根据权利要求1所述的消息队列缓存自动删除方法，其特征在于，依次获取删除队列，依据列表进行数据块删除的步骤之后还包括：

删除完成后，更新主题状态并与其他节点同步主题状态。

3.根据权利要求1所述的消息队列缓存自动删除方法，其特征在于，所述的获取集群内主题的配置及分布信息，并依据主题状态分发主题删除请求，并生成删除队列的步骤包括：

获取集群内主题列表；

获取主题列表内每个主题的副本数、副本分布、消息消费进度值；其中，副本分布为副本分布节点ID对应各个节点；

将待删除的主题标记删除状态；

依据各个节点ID下发节点内主题删除请求；

根据下发的主题删除请求生成删除队列。

4.根据权利要求1所述的消息队列缓存自动删除方法，其特征在于，在接收到主题删除请求后，进行节点内实际数据块的解析，获取实际的待删除列表并将待删除列表加入删除队列的步骤包括：

在接收到主题删除请求后，获取待删除主题的存储路径；

在节点内获取主题各分区数据路径并获取各路径数据目录下的索引文件和log数据文件；

解析所有低于消息消费进度值的数据索引及位置字段，并依据字段解析获取其对应的所有log数据文件；

将获取的log数据文件中同一log数据文件放入待删除列表；其中，同一log数据文件为log数据文件中只包含不大于消息消费进度值的数据的log数据文件；

将待删除列表加入删除队列。

5.根据权利要求4所述的消息队列缓存自动删除方法，其特征在于，将待删除列表加入删除队列的具体步骤包括：

判断待删除列表是否为空；

若待删除列表为空即无待删除的文件，则跳过进入删除队列；执行步骤：依次获取删除队列，依据列表进行数据块删除；

若待删除列表非空，判断删除队列内是否已存在同名称主题删除请求，

若是，对比待删除列表是否一致，若一致，则不更新删除队列，执行步骤：依次获取删除队列，依据列表进行数据块删除；若不一致，则更新删除队列的请求；执行步骤：依次获取删除队列，依据列表进行数据块删除；

若否，则新增主题删除请求到删除队列，并将待删除列表加入删除队列。

6.根据权利要求5所述的消息队列缓存自动删除方法，其特征在于，依次获取删除队列，依据列表进行数据块删除的步骤包括：

判断磁盘IO的性能是否大于设定的阈值；

若是，依次获取删除队列，依据列表进行数据块删除；

若否，等待设定的时间，再次执行步骤：判断磁盘IO的性能是否大于设定的阈值。

7.一种消息队列缓存自动删除装置，其特征在于，包括主题分布获取模块、副本数据解析模块和节点数据删除模块；

主题分布获取模块，用于获取集群内主题的配置及分布信息，并依据主题状态分发主题删除请求，并生成删除队列；

副本数据解析模块，用于在接收到主题删除请求后，进行节点内实际数据块的解析，获取实际的待删除列表并将待删除列表加入删除队列；

节点数据删除模块，用于依次获取删除队列，依据列表进行数据块删除。

8.根据权利要求7所述的消息队列缓存自动删除装置，其特征在于，该装置还包括广播更新模块；

广播更新模块，用于删除完成后，更新主题状态并与其他节点同步主题状态。