[发明专利]一种基于Spark SQL的统一SQL查询方法

说明书

本发明公开一种基于Spark SQL的统一SQL查询方法，涉及大数据技术技术领域；利用多数据引擎SQL语义适配功能，基于SQL标准和用户的使用习惯，对用户统一重新定义并扩展SQL语义，利用Spark计算集群构建计算引擎，将用户所查询的SQL语句解析转化为语义完整可执行的SQL语句，调用相关数据源的执行接口，执行相应的查询操作；实现不同数据源的关联操作，极大简化了处理过程，降低了运维成本。

技术领域

本发明公开一种查询方法，涉及大数据技术技术领域，具体地说是一种基于SparkSQL的统一SQL查询方法。

背景技术

在大数据时代，随着互联网技术的迅速崛起与普及，人们在不同领域采集到的数据量之大，达到了前所未有的程度。同时，数据的产生、存储和处理方式发生了革命性的变化，人们的工作和生活基本上都可以用数字化表示，数据的使用查询非常频繁，传统的数据查询处理方式采用单一的数据库存储查询，而多源数据库不能很好地兼容，需要额外的进行数据分析转换不同来源的数据，十分不便，还增加了运维成本。

Spark是专为大规模数据处理而设计的快速通用的计算引擎，是现在形成一个高速发展应用广泛的生态系统。Spark可完成各种各样的运算，包括SQL查询、文本处理、机器学习等。Spark还提供了大量的库，包括Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX。开发者可以在同一个应用程序中无缝组合使用这些库。并且Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。

发明内容

本发明针对现有技术的问题，提供一种基于Spark SQL的统一SQL查询方法，具有通用性强、实施简便等特点，可以实现不同数据源的关联操作，极大简化了处理过程。

本发明提出的具体方案是：

一种基于Spark SQL的统一SQL查询方法：利用多数据引擎SQL语义适配功能，基于SQL标准和用户的使用习惯，对用户统一重新定义并扩展SQL语义，

利用Spark计算集群构建计算引擎，将用户所查询的SQL语句解析转化为语义完整可执行的SQL语句，调用相关数据源的执行接口，执行相应的查询操作。

所述的一种基于Spark SQL的统一SQL查询方法中根据可执行的SQL语句中所指定的数据源存储表名，调用相关数据源的执行接口，找到数据源存储表所对应的数据源信息。

所述的一种基于Spark SQL的统一SQL查询方法中利用Apache Calcite提供的多数据引擎SQL语义适配功能。

所述的一种基于Spark SQL的统一SQL查询方法的具体步骤为：

利用数据源存储表存储数据源信息，

利用Apache Calcite提供的多数据引擎SQL语义适配功能，基于SQL标准和用户的使用习惯，对用户统一重新定义并扩展SQL语义，

利用计算引擎将用户所查询的SQL语句解析转化为语义完整可执行的SQL语句及所涉及到的数据库，并生成相关执行计划，

Spark SQL调用相关数据源的执行接口，执行相应的查询操作。

一种基于Spark SQL的统一SQL查询系统，包括构建SQL语句适配模块和构建计算引擎模块，

构建SQL语句适配模块利用多数据引擎SQL语义适配功能，基于SQL标准和用户的使用习惯，对用户统一重新定义并扩展SQL语义，

构建计算引擎模块利用Spark计算集群构建计算引擎，将用户所查询的SQL语句解析转化为语义完整可执行的SQL语句，调用相关数据源的执行接口，执行相应的查询操作。