[发明专利]数据查询方法及装置、存储介质、电子装置

权利要求书

1.一种数据查询方法，其特征在于，包括：

获取待查询的目标表的元数据信息，其中，所述目标表包括待查询数据；

使用第一模型对所述元数据信息进行分析，确定所述待查询数据的预处理方式，其中，所述第一模型为使用多组数据训练得到的，所述多组数据中的每组数据均包括：元数据信息和所述待查询数据对应的预处理方式；

基于所述预处理方式对所述待查询数据进行处理，以在Hive数据仓库中对处理后的所述待查询数据进行查询，其中，使用第一模型对所述元数据信息进行分析，确定所述待查询数据的预处理方式，包括以下至少之一：

使用第一模型对所述元数据信息进行分析，确定对所述待查询数据进行查询时所采用的计算引擎框架；

使用第一模型对所述元数据信息进行分析，确定对所述待查询数据进行合并汇总处理的方式；

使用第一模型对所述元数据信息进行分析，确定将所述目标表保存在内存中的处理方式；

使用第一模型对所述元数据信息进行分析，确定与所述目标表匹配的常用表，并将所述常用表预先缓存在所述内存中。

2.根据权利要求1所述的方法，其特征在于，确定将所述目标表保存在内存中的处理方式，包括以下至少之一：

确定在所述内存中采用列式存储格式存储所述待查询数据；

确定在所述内存中采用与所述待查询数据适配的压缩算法对所述目标表进行压缩；

将所述待查询数据中占用空间率高于第一阈值的字段类型转化为占用空间率低于第二阈值的字段类型。

3.根据权利要求1所述的方法，其特征在于，确定对所述待查询数据进行合并汇总处理的方式，包括：

对所述待查询数据中的部分数据进行聚合操作，以减少所述待查询数据的数据量。

4.根据权利要求1所述的方法，其特征在于，使用第一模型对所述元数据信息进行分析，确定与所述目标表匹配的常用表之前，所述方法还包括：

获取使用次数超过第三阈值的多张表；

从所述多张表中确定与所述目标表匹配的常用表。

5.根据权利要求1所述的方法，其特征在于，获取待查询的目标表的元数据信息，包括以下至少之一：

获取所述目标表中的表结构信息；

获取所述目标表的数据量信息；

获取所述目标表对应的HQL语句。

6.根据权利要求1所述的方法，其特征在于，使用第一模型对所述元数据信息进行分析，确定所述待查询数据的预处理方式之前，所述方法还包括：

获取所述多组数据；

通过所述多组数据对所述第一模型进行训练，以使所述第一模型对元数据信息进行分析后，确定待查询数据的预处理方式。

7.一种数据查询装置，其特征在于，包括：

获取模块，用于获取待查询的目标表的元数据信息，其中，所述目标表包括待查询数据；

确定模块，用于使用第一模型对所述元数据信息进行分析，确定所述待查询数据的预处理方式，其中，所述第一模型为使用多组数据训练得到的，所述多组数据中的每组数据均包括：元数据信息和待查询数据对应的预处理方式；

处理模块，用于基于所述预处理方式对所述目标表的数据进行处理，以在Hive数据仓库中对处理后的所述待查询数据进行查询，其中，所述确定模块用于执行以下至少之一：

使用第一模型对所述元数据信息进行分析，确定对所述待查询数据进行查询时所采用的计算引擎框架；

使用第一模型对所述元数据信息进行分析，确定对所述待查询数据进行合并汇总处理的方式；

使用第一模型对所述元数据信息进行分析，确定将所述目标表保存在内存中的处理方式；

使用第一模型对所述元数据信息进行分析，确定与所述目标表匹配的常用表，并将所述常用表预先缓存在所述内存中。

8.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。