[发明专利]计算引擎选择方法、装置及存储介质和电子设备

说明书

本发明实施例提出计算引擎选择方法、装置及存储介质和电子设备。方法包括：获取待执行的SQL查询语句的SQL特征；获取SQL查询语句所要查询的表的数据特征；获取各计算引擎的状态特征；针对每个计算引擎，分别生成一个特征向量；将每个特征向量分别输入到资源消耗预测模型和耗时预测模型中进行计算，分别得到每个计算引擎执行SQL查询语句的预测资源消耗和预测耗时；根据每个计算引擎执行SQL查询语句的预测资源消耗和预测耗时，计算每个计算引擎执行所述SQL查询语句的预测代价；根据每个计算引擎执行SQL查询语句的预测代价，选择执行SQL查询语句的计算引擎。本发明实施例能够选择出执行SQL查询语句的性能最优的计算引擎。

技术领域

本发明涉及大数据技术领域，尤其涉及计算引擎选择方法、装置及可读存储介质和电子设备。

背景技术

SQL(Structured Query Language，结构化查询语言)是一种高级的非过程化编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。

查询调度是指将使用SQL编写的查询语句调度到大数据平台中合适的计算引擎中执行的过程，该调度过程会根据具体的查询特征和引擎的状态信息来进行。

公开号为CN110807145A的专利申请公开了一种查询引擎获取方法，该方法先获取SQL语句的特征，然后根据特征获取多个引擎中每个引擎执行包含该特征的查询语句的耗时的权重，最后根据权重大小选择引擎来执行SQL查询。

这种方法只是简单地对SQL特征进行提取，然后根据各种计算引擎对包含每种特征的SQL语句的查询的固有表现来选取计算引擎，由于仅仅考虑到SQL特征，因此并不能选出性能最优的计算引擎。

发明内容

本发明实施例提出计算引擎选择方法、装置及可读存储介质和电子设备，以选择出执行SQL查询语句的性能最优的计算引擎。

本发明实施例的技术方案是这样实现的：

一种计算引擎选择方法，该方法包括：

获取待执行的结构化查询语言SQL查询语句的SQL特征；

获取所述SQL查询语句所要查询的表的数据特征；

获取各计算引擎的状态特征；

针对每个计算引擎，分别生成一个特征向量，每个特征向量中包含：所述SQL查询语句的SQL特征、所述SQL查询语句所要查询的表的数据特征和对应计算引擎的状态特征；

将每个特征向量分别输入到资源消耗预测模型中进行计算，分别得到每个计算引擎执行所述SQL查询语句的预测资源消耗；

将每个特征向量分别输入到耗时预测模型中进行计算，分别得到每个计算引擎执行所述SQL查询语句的预测耗时；

根据所述每个计算引擎执行所述SQL查询语句的预测资源消耗，以及所述每个计算引擎执行所述SQL查询语句的预测耗时，计算每个计算引擎执行所述SQL查询语句的预测代价；

根据所述每个计算引擎执行所述SQL查询语句的预测代价，选择执行所述SQL查询语句的计算引擎。

所述获取待执行的SQL查询语句的SQL特征，包括：

抽取所述SQL查询语句所要查询的表名；

获取所述SQL查询语句包含的语法特征，并抽取每种语法特征涉及的特征值放入SQL特征中。

所述获取所述SQL查询语句包含的语法特征，并抽取每种语法特征涉及的特征值放入SQL特征中，包括：

判断所述SQL查询语句是否包含SELECT*语法特征，若是，则将SELECT语法特征标志放入SQL特征中；或/和，