[发明专利]一种数据库查询方法、装置、电子设备及存储介质

说明书

本公开披露了一种数据库查询方法、装置、电子设备及存储介质，所述方法包括：基于当前SQL查询语句的key值，获取多个目标数据库的历史资源消耗序列；针对所述多个目标数据库中的每个目标数据库，根据所述历史资源消耗序列确定各个所述目标数据库的资源消耗预测模型；根据所述资源消耗预测模型确定所述当前SQL查询语句在各个所述目标数据库的预估资源消耗；基于各个所述目标数据库的所述预估资源消耗，确定对所述当前SQL查询语句的任务分配策略；按照所述任务分配策略进行至少一个查询子任务的调度。

技术领域

本公开涉及数据库领域，具体涉及一种分布式数据库查询过程中防止数据倾斜的数据库查询方法、装置、电子设备及存储介质。

背景技术

随着云计算等相关行业的快速发展，互联网行业面临着爆炸式增长的海量数据和更多的数据处理需求。为了更好的处理这种状况，一些新技术快速随之产生，比如并行数据库、分布式处理等。MapReduce就是一个处理海量数据的计算框架。

Hadoop是一个基于MapReduce框架的分布式数据处理系统，有计算能力强、容错性和数据可用性强、可扩展性强等特性。然而，这种传统的MapReduce框架和Hadoop系统不擅长处理结构化数据，比如SQL(Structured Query Language，结构化查询语言)查询，而且对于特定问题的处理需要用户进一步编程解决，不存在针对某种问题的特定接口，还存在着启动时间长、处理延时较高，不能支持一些实时的查询的问题。针对以上问题，已经有了多种对MapReduce框架的优化和补充，使得MapReduce适用于处理结构化的数据，比如SQL查询等特定应用。SQL查询是数据库领域的重要应用，由此形成的Hive是SQL相关查询比较成功的系统。

Hive是一个建立在Hadoop上的数据仓库系统，具有数据管理、数据查询等功能。Hive定义了一个类似于SQL的查询语言——HiveQL，支持SQL可以实现的绝大多数查询，并且查询接口简单。Hive利用Hadoop的Hadoop文件系统(Hadoop File System，HDFS)存储数据，利用Hadoop的MapReduce模块进行数据处理的工作，并且有很强的数据容错性和数据恢复能力。总体来看，Hive基本支持绝大多数分布式数据库的功能，并且有更好的扩展性和规模性。然而，Hive也存在不少需要优化的地方。例如，Hive体系的数据平台在执行数据库查询时由于数据聚合(某一个节点需要查询的数据量很大)会带来节点负载压力，导致数据倾斜的问题，从而导致该分任务执行很慢。由于Hive体系中必须某一阶段的所有分任务结束后才能进入下一阶段，如果一个分任务由于数据倾斜没能及时完成，后边的所有任务不能启动，从而造成资源空闲时间，降低查询效率。

发明内容

针对现有技术中的数据倾斜问题，本公开实施例提出了一种数据库查询方法、装置、电子设备及计算机可读存储介质，以解决的数据库查询效率慢的问题。

本公开实施例的第一方面提供了一种数据库查询方法，包括：基于当前SQL查询语句的key值，获取多个目标数据库的历史资源消耗序列；针对所述多个目标数据库中的每个目标数据库，根据所述历史资源消耗序列确定各个所述目标数据库的资源消耗预测模型；根据所述资源消耗预测模型确定所述当前SQL查询语句在各个所述目标数据库的预估资源消耗；基于各个所述目标数据库的所述预估资源消耗，确定对所述当前SQL查询语句的任务分配策略；按照所述任务分配策略进行至少一个查询子任务的调度。

在一些实施例中，所述根据所述历史资源消耗序列确定各个所述目标数据库的资源消耗预测模型包括：确定各个所述目标数据库的所述历史资源消耗序列的自相关函数值和偏自相关函数值；基于所述自相关函数值和所述偏自相关函数值建立关于资源消耗的差分整合移动平均自回归模型。

在一些实施例中，在建立关于资源消耗的差分整合移动平均自回归模型之前，所述方法还包括：确定所述自相关函数值和所述偏自相关函数值是否需要差分转换；在所述自相关函数值和所述偏自相关函数值需要进行差分转换时，通过至少一次差分转换，使所述自相关函数值和所述偏自相关函数值平稳。