[发明专利]一种数据查询方法、设备及介质

说明书

本申请公开了一种数据查询方法、设备及介质，方法包括：获取用户的数据查询请求；根据所述数据查询请求中的若干查询条件，通过具有查询功能的Impala在预先构建的分区数据表中进行查询，得到查询结果；判断查询结果是否为有效查询；若否，则根据所述查询结果对所述分区数据表进行更新。本申请实施例通过数据处理工具Impala能够提高数据查询的速度，并基于Impala的基础上，通过构建分区数据表，能够提供合理的分区，能够充分发挥impala的性能，并通过判断查询结果是否为有效查询，能够不断地对分区数据表进行优化，进一步提高Impala的查询效率，从而能够为用户提高数据查询的速度，提高查询效率。

技术领域

本申请涉及互联网技术领域，尤其涉及一种数据查询方法、设备及介质。

背景技术

随着大数据技术的发展，数据信息都可以在互联网上找到，而随着数据的大量累积，在众多数据资源中找到自己想要的数据就变得越来越麻烦，同时数据量级数的增大，传统的数据库查询已经无法满足用户对查询等待的要求。

目前，通常需要通过HDFS(Hadoop Distributed File System，分布式文件系统)中所存储的海量数据资源进行检索查询，但是，伴随着数据的不断累积，HDFS系统中的数据会呈几何级数的增加，基于Hbase和Hive的数据查询方法也达到了局限，无法达到快速找到目的资源的要求，导致数据查询效率低。

发明内容

本申请实施例提供一种数据查询方法、设备及介质，用于解决数据查询效率低的问题。

本申请实施例采用下述技术方案：

一方面，本申请实施例提供了一种数据查询方法，该方法包括：获取用户的数据查询请求；根据所述数据查询请求中的若干查询条件，通过具有查询功能的Impala在预先构建的分区数据表中进行查询，得到查询结果；判断所述查询结果是否为有效查询；若否，则根据所述查询结果对所述分区数据表进行更新。

一个示例中，确定所述分区数据表，具体包括：获取设定的若干样本查询条件；通过所述Impala生成各样本查询条件的下分别对应的数据集；根据所述数据集，生成一张统计数据表；基于所述统计数据表，对所述各样本查询条件进行组合，确定样本查询条件组合；所述样本查询条件组合中的样本查询条件之间的数据集的数据量差值不大于预设阈值；根据所述样本查询条件组合，对所述统计数据表进行分区，以构建分区数据表。

一个示例中，所述基于所述统计数据表，对所述各样本查询条件进行组合，确定样本查询条件组合，具体包括：将所述各样本查询条件以及所述各样本查询条件的下分别对应的数据集的数据量进行编码，确定所述各样本查询条件分别对应的标签；根据所述各样本查询条件分别对应的标签，对所述各样本查询条件进行组合，确定若干样本查询条件组合。

一个示例中，所述根据所述各样本查询条件分别对应的标签，对所述各样本查询条件进行组合，确定若干样本查询条件组合，具体包括：获取所述各样本查询条件分别对应的查询概率；按照所述查询概率由高到低的顺序，将所述各样本查询条件分别对应的标签进行排序，确定标签序列；在所述标签序列中，按照排序顺序，依次将所述标签进行组合，确定多个标签组合；基于所述多个标签组合，确定若干样本查询条件组合。

一个示例中，在所述标签序列中，通过将第一标签依次与其他标签进行组合，确定与第一样本查询条件的数据集的数据量之间差值最小的第二样本查询条件，所对应的第二标签；将所述第一标签与所述第二标签进行组合，确定标签组合，并将所述标签组合输入标签组合序列，并在所述标签序列中，删除所述第一标签与所述第二标签；直至所述标签序列中不包括所述标签，以在所述标签组合序列中，确定多个标签组合。

一个示例中，所述根据所述样本查询条件组合，对所述统计数据表进行分区之后，所述方法还包括：确定与所述用户应用的业务场景相关的查询条件；根据所述查询条件，将所述各样本查询条件组合进行排序，确定所述样本查询条件组合之间的优先级，以根据所述优先级，对所述若干查询条件进行组合查询。