[发明专利]基于云上分析场景的混合查询方法和系统、存储介质

说明书

本申请公开了一种基于云上分析场景的混合查询方法和系统、存储介质。该方法包括获取查询信息，基于查询信息得到其索引；基于预计算获取索引的元信息，与聚合索引的元信息对比；基于对比的结果，确定元信息对应的查询方式，其中，所述查询方式包括存算分离或MPP架构的查询方式。本申请解决了在超高维的环境中，如何让预计算查询系统能够最高效，更稳定地利用预计算的结果，最快速地响应客户的查询，同时避免产生大量的冗余数据的技术问题。

技术领域

本发明属于数据处理技术领域，尤其涉及一种基于云上分析场景的混合查询方法和系统、存储介质。

背景技术

在数字化背景下，典型的大数据的应用场景需要面对的数据的规模呈指数级增长。即便如此，人们还是希望能从数据中更精确，更高效，更便捷，更密集地挖掘商业价值。这就对处理这些数据的查询系统提出了很高的要求。典型的传统分布式查询计算框架需要占用更多的内存资源，网络资源，CPU资源才能满足日益增长的业务需求，因此一些基于预计算理论的查询系统开始得到重视，例如Apache Kylin,Apache Druid等。这类预计算系统能够利用空余的计算、存储资源提前完成部分的计算，并且将这些计算结果保存在可持久化的存储介质中，当用户查询到来的时候，只需要进行少量的数据再加工便可以回答用户的查询，因此这类系统在查询的响应速度，吞吐量等方面都有非常大的优势。另外，为了保持对业务系统(包括BI工具，报表，数据分析算法等)的兼容性，预计算数据查询系统一般也像通用查询系统一样，提供SQL，或者近似SQL的语言。

对于不同的查询，预计算查询系统预期选中的聚合索引是不同的。这就给分布式物理执行模型提供了很大选择余地：当某个查询选中的是一个被聚合程度很高的聚合索引(通俗地说就是数据行数很少的聚合索引)的时候，如一个按照年龄维度聚合的聚合索引，那么完成这个查询所需访问的数据量是很小的(正常情况下就是2行)，而如果查询选中的是一个按照承保人+日期维度聚合的低聚合程度的聚合索引(通俗地说就是数据行数很多)，那么需要访问的数据量仍然很大。

在大规模的联机多维分析中，预计算查询系统存在两个基础性的难题：维度爆炸和冷启动。举例来说，10个维度将产生1024个维度组合；而11个维度将产生2048个维度组合。Apache Kylin通过巧妙地选择要预计算地聚合索引，可以显著地提升平均响应时间，但是随着维度的增加，例如，当前一个典型地用户标签系统往往至少500维起，这就使得无论如何选择都变得并不实用，特别是在云上的分布式环境中，这两个难题因为对象存储而放大。在这种超高维的环境中，如何让预计算查询系统能够最高效，更稳定地利用预计算的结果，最快速地响应客户的查询，同时避免产生大量的冗余数据，就是本发明要解决的问题。

综上所述，现有技术存在如下技术问题：

在超高维的环境中，如何让预计算查询系统能够最高效，更稳定地利用预计算的结果，最快速地响应客户的查询，同时避免产生大量的冗余数据。

发明内容

为解决上述技术问题，本发明提供一种基于云上分析场景的混合查询方法，包括步骤：

获取查询信息，基于查询信息得到其索引；

基于预计算获取索引的元信息，与聚合索引的元信息对比；

基于对比的结果，确定元信息对应的查询方式，其中，所述查询方式包括存算分离或MPP架构的查询方式。

优选的，所述获取查询信息，基于查询信息得到其索引，具体包括：

获取SQL查询语句；

获取SQL分析器，将SQL查询语句分析为语法树；

基于所述语法树提取查询信息作为索引。

优选的，所述聚合索引，具体包括：

获取历史查询信息的数据量；