[发明专利]一种消息队列缓存自动删除方法、装置、设备、存储介质

说明书

本发明提供一种消息队列缓存自动删除方法、装置、设备、存储介质，获取集群内主题的配置及分布信息，并依据主题状态分发主题删除请求，并生成删除队列；在接收到主题删除请求后，进行节点内实际数据块的解析，获取实际的待删除列表并将待删除列表加入删除队列；依次获取删除队列，依据列表进行数据块删除。通过设置常驻删除进程，实时解析主题消息消费状态，并在各个节点下发处理任务，通过节点内数据状态解析，实现主题缓存数据的实时删除，降低集群存储资源压力，提升集群资源利用率，减少集群存储资源不足的运维问题。

技术领域

本发明涉及集群数据清除机制技术领域，具体涉及一种消息队列缓存自动删除方法、装置、设备、存储介质。

背景技术

Kafka是一种高吞吐量的分布式发布订阅消息系统，提供可扩展、高吞吐、低延迟、高可靠的消息分发服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域。Kafka组件包括Topic、Producer、broker、Zookeeper；其中，Topic：消息根据Topic进行归类；Producer：发送消息者；Consumer：消息接受者；broker：每个kafka实例(server)；Zookeeper：依赖集群保存meta信息。Zookeeper是独立的组件，Kafka仅使用其作为元数据存储后端。

作为大数据生态中重要的分布式消息队列系统，Kafka组件通常承担着大量的数据流任务，其本身存储数据量较大，但数据在业务系统处理完成后通常不再使用，磁盘空间并不会自动释放，Kafka自身的数据清除机制仅依靠时间老化进行批量删除，在大数据量场景下并不能依据消息消费状态实时清除多余数据，对集群存储资源消耗较高，容易导致Kafka集群存储资源不足的运维问题，进而影响上层业务影系统。

发明内容

针对集群数据清除机制的问题，本发明提供一种消息队列缓存自动删除方法、装置、设备、存储介质。

本发明的技术方案是：

第一方面，本发明技术方案提供一种消息队列缓存自动删除方法，包括如下步骤：

获取集群内主题的配置及分布信息，并依据主题状态分发主题删除请求，并生成删除队列；

在接收到主题删除请求后，进行节点内实际数据块的解析，获取实际的待删除列表并将待删除列表加入删除队列；

依次获取删除队列，依据列表进行数据块删除。

通过设置常驻删除进程，实时解析主题消息消费状态，并在各个节点下发处理任务，通过节点内数据状态解析，实现主题缓存数据的实时删除，降低集群存储资源压力，提升集群资源利用率，减少集群存储资源不足的运维问题。

进一步的，依次获取删除队列，依据列表进行数据块删除的步骤之后还包括：

删除完成后，更新主题状态并与其他节点同步主题状态。

所有节点均完成删除请求则去除主题的删除标记，释放该主题删除的限制，允许该主题再次加入删除队列。

进一步的，所述的获取集群内主题的配置及分布信息，并依据主题状态分发主题删除请求，并生成删除队列的步骤包括：

获取集群内主题列表；

获取主题列表内每个主题的副本数、副本分布、消息消费进度值；其中，副本分布为副本分布节点ID对应各个节点；

将待删除的主题标记删除状态；

依据各个节点ID下发节点内主题删除请求；

根据下发的主题删除请求生成删除队列。

常驻数据删除线程不间断扫描数据缓存，由于删除请求在删除队列排队等待执行，当再次扫描到标记删除的主题时直接跳过，另外，标记删除的主题禁止对外访问。