[发明专利]数据查询方法、装置、计算机设备及存储介质

说明书

本申请实施例属于大数据技术领域，涉及一种数据查询方法，包括在接收到数据查询指令时，获取数据查询指令对应的查询数据对；根据查询数据对连接目标数据库集群，并生成目标数据库集群的消费主题；根据消费主题查询目标数据库集群中的所有有效数据，对有效数据进行反序列化，得到目标对象；从目标数据库集群中获取目标对象对应的目标数据对，匹配查询数据对和目标数据对，在查询数据对与目标数据对匹配成功时，返回与查询数据对匹配成功的目标数据对，以及匹配成功的目标数据对的查询值。本申请还提供一种数据查询装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，查询值可存储于区块链中。本申请提高了数据查询的准确率。

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据查询方法、装置、计算机设备及存储介质。

背景技术

近几年，随着大数据的流行，kafka作为一种高吞吐量的分布式发布订阅消息系统，在大数据领域使用的越来越多。它可以处理消费者在网站中的所有动作流数据，这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。

但是由于kafka本身只是一种存储系统，不会校验内部数据的准确性。在实际应用中，kafka中经常会由于各种原因造成内部有大量的脏数据(不符合业务要求的数据)。而由于大量脏数据的存在，最终导致数据查询准确率低下的问题。

发明内容

本申请实施例的目的在于提出一种数据查询方法、装置、计算机设备及存储介质，以解决数据查询准确率低下的技术问题。

为了解决上述技术问题，本申请实施例提供一种数据查询方法，采用了如下所述的技术方案：

在接收到数据查询指令时，获取所述数据查询指令对应的查询数据对；

根据所述查询数据对连接目标数据库集群，并生成所述目标数据库集群的消费主题；

根据所述消费主题查询所述目标数据库集群中的所有有效数据，对所述有效数据进行反序列化，得到目标对象；

从所述目标数据库集群中获取所述目标对象对应的目标数据对，匹配所述查询数据对和所述目标数据对，在所述查询数据对与所述目标数据对匹配成功时，返回与所述查询数据对匹配成功的目标数据对，以及所述匹配成功的目标数据对的查询值。

进一步的，所述根据所述消费主题查询所述目标数据库集群中的所有有效数据的步骤具体包括：

获取所述目标数据库集群的分区数，启动与所述分区数相同个数的所述消费主题；

在所述目标数据库集群中根据所述消费主题对所述有效数据进行分区查询。

进一步的，所述返回与所述查询数据对匹配成功的目标数据对，以及所述匹配成功的目标数据对的查询值的步骤具体包括：

所述查询值包括分区值和偏移量，在所述查询数据对与所述目标数据对匹配完成时，通过接口返回所有与所述查询数据对匹配成功的目标数据对的分区值和偏移量。

进一步的，在所述返回与所述查询数据对匹配成功的目标数据对，以及所述匹配成功的目标数据对的查询值的步骤之后包括：

统计所述查询数据对与所述目标数据对匹配成功的数据条数，并获取所述目标数据对的数据类型；

根据所述数据条数和所述数据类型，确定所述查询数据对是否为脏数据，其中，在所述数据类型为标识类型，且所述数据条数大于等于预设阈值时，确定所述目标数据对为所述脏数据。

进一步的，所述统计所述查询数据对与所述目标数据对匹配成功的数据条数的步骤具体包括：

在所述查询数据对与所述目标数据对匹配成功时，基于预设的内置计数器记录匹配成功的次数；