[发明专利]数据查询方法及装置、存储介质、电子装置

说明书

本发明提供了一种数据查询方法及装置、存储介质、电子装置，上述方法包括：获取待查询的目标表的元数据信息，其中，所述目标表包括待查询数据；使用第一模型对所述元数据信息进行分析，确定所述待查询数据的预处理方式，其中，所述第一模型为使用多组数据训练得到的，所述多组数据中的每组数据均包括：元数据信息和所述待查询数据对应的预处理方式；基于所述预处理方式对所述待查询数据进行处理，以在Hive数据仓库中对处理后的所述待查询数据进行查询，采用上述技术方案，解决了相关技术中，在通过Hive数据仓库进行数据查询的过程中，需要大量的人为参与确定对数据的处理方式，进而使得流程复杂，处理慢，人工成本高等问题。

技术领域

本发明主要涉及通信领域，具体而言，涉及一种数据查询方法及装置、存储介质、电子装置。

背景技术

在大数据时代下，大数据信息智能处理技术被广泛应用到生产环境中，通过大数据信息处理技术产生的海量数据通常会被存储在数据仓库中以用于分析处理，为决策管理人员提供有用的决策分析信息。

现有的相关技术中，为了加速Hive数据仓库的查询速度，通常采用将需要进行查询操作的结果进行预先计算和保存或将关联表中需要的数据预处理到指定数据缓存区域，再根据接口参数从所述数据缓存区域加载所述需要的数据进入内存并存储的方式。但是，现有的技术针对不同的应用场景进行性能调优时需涉及到大量的人为参与，通常需根据人为经验进行繁琐的优化操作。

针对相关技术中，在通过Hive数据仓库进行数据查询的过程中，需要大量的人为参与确定对数据的处理方式，进而使得流程复杂，人工成本高等问题，尚未提出有效的技术方案。

发明内容

本发明实施例提供了一种数据查询方法及装置、存储介质、电子装置，以至少解决相关技术在通过Hive数据仓库进行数据查询的过程中，需要大量的人为参与确定对数据的处理方式，进而使得流程复杂，人工成本高等问题。

本发明实施例提供了一种数据查询方法，包括：获取待查询的目标表的元数据信息，其中，所述目标表包括待查询数据；使用第一模型对所述元数据信息进行分析，确定所述待查询数据的预处理方式，其中，所述第一模型为使用多组数据训练得到的，所述多组数据中的每组数据均包括：元数据信息和所述待查询数据对应的预处理方式；基于所述预处理方式对所述待查询数据进行处理，以在Hive数据仓库中对处理后的所述待查询数据进行查询。

可选地，使用第一模型对所述元数据信息进行分析，确定所述待查询数据的预处理方式，包括以下至少之一：使用第一模型对所述元数据信息进行分析，确定对所述待查询数据进行查询时所采用的计算引擎框架；使用第一模型对所述元数据信息进行分析，确定对所述待查询数据进行合并汇总处理的方式；使用第一模型对所述元数据信息进行分析，确定将所述目标表保存在内存中的处理方式；使用第一模型对所述元数据信息进行分析，确定与所述目标表匹配的常用表，并将所述常用表预先缓存在所述内存中。

可选地，确定将所述目标表保存在内存中的处理方式，包括以下至少之一：确定在所述内存中采用列式存储格式存储所述待查询数据；确定在所述内存中采用与所述待查询数据适配的压缩算法对所述目标表进行压缩；将所述待查询数据中占用空间率高于第一阈值的字段类型转化为占用空间率低于第二阈值的字段类型。

可选地，确定对所述待查询数据进行合并汇总处理的方式，包括：对所述待查询数据中的部分数据进行聚合操作，以减少所述待查询数据的数据量。

可选地，使用第一模型对所述元数据信息进行分析，确定与所述目标表匹配的常用表之前，所述方法还包括：获取使用次数超过第三阈值的多张表；从所述多张表中确定与所述目标表匹配的常用表。

可选地，获取待查询的目标表的元数据信息，包括以下至少之一：获取所述目标表中的表结构信息；获取所述目标表的数据量信息；获取所述目标表对应的HQL语句。