[发明专利]一种OLAP查询引擎动态cost评估方法及装置

权利要求书

1.一种OLAP查询引擎动态cost评估方法，其特征在于，该方法包括：

采集数据仓库中数据表的数据量和字段基数；同时记录历史查询sql和对应的查询时间；

对sql的执行时间进行离散处理，生成标签；同时将数据表的表信息、过滤字段、分析字段、时间分区、表数据量和分析字段基数，生成各自的特征编码；

利用已有的机器学习模型，对已有查询样本，根据提取的数据表的特征进行分类算法训练；

将OLAP查询引擎的执行计划转化为特征向量，输入机器学习模型中进行基数评估，从而获得数据表的预估查询时间。

2.根据权利要求1所述的OLAP查询引擎动态cost评估方法，其特征在于，对sql的执行时间进行离散处理，生成标签，包括：

对sql的执行时间进行离散处理，并打上标签；

生成数据表的执行时间及对应的标签。

3.根据权利要求1所述的OLAP查询引擎动态cost评估方法，其特征在于，将数据表的表信息、过滤字段、分析字段、时间分区、表数据量和分析字段基数，生成各自的特征编码，包括：

对数据表的表信息、过滤字段、分析字段和时间分区进行onehot编码，生成各自的特征编码，其中时间分区的特征编码长度为365*4，范围为N天，则第N位为1；

对数据表的数据量，通过其中i为表标识，n为表数据量，生成特征编码；

对数据表的分析字段基数，通过其中I为分析字段标识，N为分析字段基数，生成特征编码。

4.根据权利要求1所述的OLAP查询引擎动态cost评估方法，其特征在于，根据正态分布的定义，对查询样本的异常数据进行丢弃处理。

5.一种OLAP查询引擎动态cost评估装置，其特征在于，该装置包括：

信息采集模块，用于采集数据仓库中数据表的数据量和字段基数；

日志查询模块，用于记录历史查询sql和对应的查询时间；

特征提取模块，用于对sql的执行时间进行离散处理，生成标签；同时将数据表的表信息、过滤字段、分析字段、时间分区、表数据量和分析字段基数，生成各自的特征编码；

模型训练模块，用于利用已有的机器学习模型，对已有查询样本，根据提取的数据表的特征进行分类算法训练；

cost评估模块，用于将OLAP查询引擎的执行计划转化为特征向量，输入机器学习模型中进行基数评估，从而获得数据表的预估查询时间。

6.根据权利要求5所述的OLAP查询引擎动态cost评估装置，其特征在于，对sql的执行时间进行离散处理，生成标签，包括：

对sql的执行时间进行离散处理，并打上标签；

生成数据表的执行时间及对应的标签。

7.根据权利要求5所述的OLAP查询引擎动态cost评估装置，其特征在于，将数据表的表信息、过滤字段、分析字段、时间分区、表数据量和分析字段基数，生成各自的特征编码，包括：

对数据表的表信息、过滤字段、分析字段和时间分区进行onehot编码，生成各自的特征编码，其中时间分区的特征编码长度为365*4，范围为N天，则第N位为1；

对数据表的数据量，通过其中i为表标识，n为表数据量，生成特征编码；

对数据表的分析字段基数，通过其中I为分析字段标识，N为分析字段基数，生成特征编码。

8.根据权利要求5所述的OLAP查询引擎动态cost评估装置，其特征在于，根据正态分布的定义，对查询样本的异常数据进行丢弃处理。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4任一项所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1-4任一项所述方法的计算机程序。