[发明专利]一种基于机器学习的OLAP引擎路由方法及系统

权利要求书

1.一种基于机器学习的OLAP引擎路由方法，其特征在于，所述方法包括：

特征化SQL语句；

应用机器学习中的分类算法，基于SQL语句特征构建出OLAP引擎的选择模型；

利用资源空闲时间，更新训练集的样本，不断加入当前环境下的样本数据，然后训练出新的选择模型。

2.如权利要求1所述的基于机器学习的OLAP引擎路由方法，其特征在于，所述特征化SQL语句的过程具体包括：

按照SQL语句的结构特征，将SQL语句分割成select、from、where、group by、order by、limit多个片段，每个片段作为一个特征。

3.如权利要求1所述的基于机器学习的OLAP引擎路由方法，其特征在于，将特征化后的SQL语句作为输入，利用SQL执行引擎的选择模型，选择近乎最佳的OLAP引擎。

4.如权利要求3所述的基于机器学习的OLAP引擎路由方法，其特征在于，所述选择模型为基于随机森林训练出来的分类模型，该分类模型的类别至少包括hive，presto，kylin，spark四种OLAP执行引擎，SQL语句作为输入，经过模型分类后，命中上述执行引擎的一种。

5.如权利要求4所述的基于机器学习的OLAP引擎路由方法，其特征在于，被命中的SQL执行引擎执行该SQL，并且返回查询结果；同时，该条SQL语句存储在数据库中，作为训练样本集的备选样本。

6.如权利要求5所述的基于机器学习的OLAP引擎路由方法，其特征在于，启动异步执行策略，将特征化的SQL语句存储在存储介质上，空闲时，比较存储介质上的特征化后的SQL语句与样本集的SQL特征，如样本集中不存在该条记录，则将该记录作为新样本加入样本集。

7.如权利要求1所述的基于机器学习的OLAP引擎路由方法，其特征在于，更新训练集的样本数据具体过程包括：空闲时，比较样本集中不包含的SQL语句在不同执行引擎下的查询效率，选择最优的作为类标签，添加到训练集。

8.一种基于机器学习的OLAP引擎路由系统，其特征在于，所述系统包括：

执行引擎选择模块，用于对数据引擎的选择；

OLAP引擎模块，包含多种执行引擎，执行SQL查询；

数据收集模块，用于对存储执行的SQL，筛选SQL并获取新样本，补充训练样本集；

模型训练模块，用于利用样本数据集训练执行引擎选择模型；

模型发布模块，用于发布训练得到的选择模型，并替换原有引擎，作为新的数据选择模型。