[发明专利]一种基于sql的查询方法及系统

说明书

技术领域

本发明涉及大数据处理的技术领域，尤其涉及一种基于sql的查询方法，以及基于sql的查询系统。

背景技术

在大数据领域，为了降低集群使用的门槛，通常使用类sql语言(结构化查询语言(Structured Query Language)，简称sql，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名)来进行大数据运算，目前支持sql语言的主流查询引擎有hive(Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能)，presto(presto是一个开源的分布式sql查询引擎，适用于交互式分析查询，数据量支持GB到PB字节)与spark(spark是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法)等。

一般情况下，需要把sql语句提交到确定查询引擎上，即需要人工来指定需要使用的查询引擎，在提交语句的那一刻就决定了此语句应该在hive查询引擎上执行，还是在presto或者spark查询引擎上执行，这三个运算平台完全独立。

每一个sql语句的计算复杂度是不同的，它取决于sql将要计算的数据量的大小以及sql本身的逻辑复杂度，在实际工作中，sql任务大多数为例行任务，例行化之后，随着数据量的增长，sql的复杂度是随之快速增长，而sql的执行引擎并不能动态地调整，这样就会带来执行效率的降低，甚至任务执行的失败。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于sql的查询方法，其能够提升查询效率，同时保证查询稳定性。

本发明的技术方案是：这种基于sql的查询方法，该方法包括以下步骤：

(1)获取到sql语句的查询计划，进而找出参与运算的数据量，同时找到计算方法；

(2)根据参与运算的数据量及计算方法，选择采用hive、presto、spark中的一种作为查询引擎。

本发明通过对sql语句运算复杂度的自动化评估，再根据各计算引擎擅长的计算场景，就可以智能选择计算引擎，以达到提升运算效率的目的，同时保证了查询稳定性。

还提供了一种基于sql的查询系统，该系统包括：

数据量及计算模式识别模块，其配置来获取到sql语句的查询计划，进而找出参与运算的数据量，同时找到计算方法；

查询引擎智能匹配模块，其配置来根据参与运算的数据量及计算方法，选择采用hive、presto、spark中的一种作为查询引擎。

附图说明

图1所示为根据本发明的基于sql的查询方法的流程图。

具体实施方式

hive，presto和spark三个不同的查询引擎各有所长：

1、hive非常稳定，可以支持大数据量的批处理运算，并且稳定不易出错，而在数据小的时候执行效率较低；

2、presto非常轻量级，全内存操作，数据量小的时候执行效率非常高，数据量超过一定限制会因内存限制而执行异常甚至失败；

3、spark也是全内存操作的查询引擎，执行性能介于hive与presto之间，但是在数据量超大时，同样会变得不太稳定。

本提案通过计算sql语句要处理的数据量以及sql本身逻辑复杂度的评估，自动选择sql语句的查询引擎，以提升查询效率，同时保证了查询稳定性。

如图1所示，这种基于sql的查询方法，该方法包括以下步骤：

(1)获取到sql语句的查询计划，进而找出参与运算的数据量，同时找到计算方法；

(2)根据参与运算的数据量及计算方法，选择采用hive、presto、spark中的一种作为查询引擎。

本发明通过对sql语句运算复杂度的自动化评估，再根据各计算引擎擅长的计算场景，就可以智能选择计算引擎，以达到提升运算效率的目的，同时保证了查询稳定性。

另外，所述步骤(1)中，通过hive的explain获取到sql语句的查询计划。