[发明专利]一种kafka数据的查询方法、装置及计算机可读存储介质

说明书

本发明公开了一种kafka数据的查询方法、装置及计算机可读存储介质，所述方法包括：获取待查询数据的第一关键字符；根据所述第一关键字符，确定所述待查询数据在kafka系统中所在的第一分区，以及所述待查询数据在所述第一分区中的第一查询值；判断所述第一分区对应bitmap中每个bitmap内与所述第一查询值对应bit位的值是否为1，以确定出n个bitmap，其中，所述n个bitmap中的每个bitmap内与所述第一查询值对应的bit位的值为1，且n为大于或等于1的整数；从所述n个bitmap对应的分段文件中提取出所述待查询数据；本发明可在查询时避免遍历kafka系统中每个分区以及每个分段文件，提高了查询效率。

技术领域

本发明属于数据查询技术领域，具体涉及一种kafka数据的查询方法、装置及计算机可读存储介质。

背景技术

Kafka是一种高吞吐量的分布式发布订阅消息系统，是由Apache基金会维护的一个开源流处理平台，核心代码主要是通过java与scala编写；通常情况下，kafka适用于日志收集、消息系统、用户活动跟踪、运用指标监控以及流式处理等场景，且由于其具有优秀的高吞吐的优点，而被广泛运用于大数据场景下的消息系统。

目前，针对kafka系统中数据的查询，主要是使用Confluentinc公司推出的KSQL系统，KSQL系统通过分布式的计算引擎，将Kafka数据实时接入消费，而客户端则可通过KSQL进行实时查询，主要原理为：将KSQL部署在Kafka系统中的所有节点上，并同时把KSQL的数据接入引擎Kafka-Stream部署在Kafka集群的各个节点，从而通过搜索每个节点实现数据查询。

但是前述查询方式存在以下不足：在查询kafka系统中某个数据时，需要遍历系统中的整个Topic(消息集合)或者Partition(分区)中的数据，进而导致查询效率较低，因此，如何提高对kafka系统中的数据查找效率，成为一个亟待解决的问题。

发明内容

本发明的目的是提供一种kafka数据的查询方法、装置及计算机可读存储介质，以解决现有kafka系统中数据查询效率较低的问题。

为了实现上述目的，本发明采用以下技术方案：

本发明提供了一种kafka数据的查询方法，包括：

获取待查询数据的第一关键字符；

根据所述第一关键字符，确定所述待查询数据在kafka系统中所在的第一分区，以及所述待查询数据在所述第一分区中的第一查询值；

判断所述第一分区对应bitmap中每个bitmap内与所述第一查询值对应bit位的值是否为1，以确定出n个bitmap，其中，所述n个bitmap中的每个bitmap内与所述第一查询值对应的bit位的值为1，且n为大于或等于1的整数；

从所述n个bitmap对应的分段文件中提取出所述待查询数据。

基于上述公开的内容，本发明在查询时，可通过待查询数据的第一关键字符，确定其在kafka系统中存储的区域(即第一分区)，从而缩小查找范围；同时，还可根据第一关键字符得到待查询数据在第一分区中的第一查询值，其实质为：利用该第一查询值，查找到第一分区中各个bitmap中与该第一查询值对应的bit位，从而通过判断查找到的bit位的值是否为1，来排除一定不存储有该待查询数据的分段文件(即只要bit位的标志为1，则说明该bitmap对应的分段文件内存储有待查询数据，反之，若为0，则不存在)；因此，即可在查找时实现第一分区内分段文件的过滤，从而减少在查询时所遍历的文件个数；由此，本发明即可在查询时避免遍历kafka系统中每个分区以及每个分段文件，进而提高了查询效率。

在一个可能的设计中，根据所述第一关键字符，确定所述待查询数据在kafka系统中所在的第一分区，包括：

获取所述kafka系统中的分区个数，以及每个分区对应的排序序号；