[发明专利]基于云上分析场景的混合查询方法和系统、存储介质在审
申请号: | 202111062067.4 | 申请日: | 2021-09-10 |
公开(公告)号: | CN113918561A | 公开(公告)日: | 2022-01-11 |
发明(设计)人: | 陈畅;刘能;马洪宾;李扬;韩卿 | 申请(专利权)人: | 上海跬智信息技术有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/242 |
代理公司: | 北京知果之信知识产权代理有限公司 11541 | 代理人: | 李志刚;高科 |
地址: | 200120 上海市浦东新区中国(*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 分析 场景 混合 查询 方法 系统 存储 介质 | ||
1.一种基于云上分析场景的混合查询方法,其特征在于,包括:
获取查询信息,基于查询信息得到其索引;
基于预计算获取索引的元信息,与聚合索引的元信息对比;
基于对比的结果,确定元信息对应的查询方式,其中,所述查询方式包括存算分离或MPP架构的查询方式。
2.如权利要求1所述的方法,其特征在于,所述获取查询信息,基于查询信息得到其索引,具体包括:
获取SQL查询语句;
获取SQL分析器,将SQL查询语句分析为语法树;
基于所述语法树提取查询信息作为索引。
3.如权利要求1所述的方法,其特征在于,所述聚合索引,具体包括:
获取历史查询信息的数据量;
如果历史查询信息的数据量达到预设阈值,获取所述历史查询信息的维度和度量;
基于维度和度量的使用频率构建聚合索引,将聚合索引的元信息加载到对象存储中;
基于维度和度量的新数据增量构建新聚合索引,以及删除使用频率下降的旧聚合索引;
基于预计算将新聚合索引的元信息加载到对象存储中,更新聚合索引的元信息。
4.如权利要求3所述的方法,其特征在于,所述基于维度和度量的新数据增量构建新聚合索引,以及删除使用频率下降的旧聚合索引,具体包括:
在收到构建新聚合索引的请求后,基于用户选择确定是否构建新聚合索引;
如果确定构建新聚合索引,则每隔预设时间基于维度和度量的新数据增量构建新聚合索引,如果确定不构建新聚合索引,则停止;
异步删除旧聚合索引,即标记为可删除,在后续的垃圾清理过程中物理删除。
5.如权利要求1所述的方法,其特征在于,所述基于预计算获取索引的元信息,与聚合索引的元信息对比,具体包括:
在索引中提取其元信息;
将索引的元信息与获取的对象存储中的聚合索引的元信息对比;
当索引的元信息与聚合索引的元信息相同,则命中聚合索引,否则没有命中。
6.如权利要求1所述的方法,其特征在于,所述基于对比的结果,确定元信息对应的查询方式,其中,所述查询方式包括存算分离或MPP架构的查询方式,具体包括:
获取代价的规则库,其中,代价的规则库包括当两个元信息相同,优先选择存算分离的查询方式,否则优先选择MPP架构的查询方式;
获取对比结果,基于代价的规则库进行选择;
获取存算分离或MPP架构的查询结果。
7.如权利要求6所述的方法,其特征在于,所述代价的规则库,还包括:
将查询语句的识别下推到MPP架构的数据库;
在所述数据库中识别查询语句中的聚合和过滤部分;
在MPP架构的数据库完成聚合,返回查询结果。
8.一种基于云上分析场景的混合查询的系统,其特征在于,包括:
查询输入模块,用于获取查询信息,基于查询信息得到其索引;
预计算模块,用于基于预计算获取索引的元信息,与聚合索引的元信息对比;
查询选择模块,用于基于对比的结果,确定元信息对应的查询方式,其中,所述查询方式包括存算分离或MPP架构的查询方式。
9.一种电子设备,包括存储器和处理器,所述存储器存储计算机程序,其特征在于,所述计算机程序在所述处理器中执行可实现权利要求1-7中任一种方法。
10.一种存储介质,存储计算机程序,其特征在于,所述计算机程序在处理器中执行可实现权利要求1-7中任一种方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海跬智信息技术有限公司,未经上海跬智信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111062067.4/1.html,转载请声明来源钻瓜专利网。