[发明专利]一种基于预计算场景的查询处理方法及其装置

说明书

本申请提供了一种基于预计算场景的查询处理方法及其装置，所述方法涉及用户端、优化端、执行端和数据库，所述方法包括：所述优化端接收所述用户端发送的查询请求，所述用户端用于依据用户需求生成查询请求，并向所述优化端发送所述查询请求；所述优化端依据所述查询请求在所述数据库中读取元数据；所述优化端依据所述数据表内的数据进行预计算处理生成第一访问约束；所述优化端依据所述第一访问约束和查询改写类型生成查询计划；所述优化端将所述查询计划发送至所述执行端，所述执行端用于将所述查询计划执行后生成的查询结果反馈至所述用户端。访问约束增加预计算处理之后，减少了查询执行过程中的计算量；加速了查询性能。

技术领域

本申请涉及数据查询领域，特别是一种基于预计算场景的查询处理方法及其装置。

背景技术

对于大数据场景下的查询分析，查询性能是关键指标之一。为了提升查询性能，业界探索了多种方法，包括索引、物化视图和cube、基于有界计算的访问约束。

目前现有技术中：1)索引：提高查询效率的典型方法是为查询创建合适的索引，常见的索引包括B+Tree索引、Hash索引、Bitmap索引，查询时根据索引可以快速的定位到满足条件的记录或记录的范围，从而减少参与计算的记录数。2)物化视图和cube：物化视图和cube都可以用于预先计算并保存表连接或聚集等耗时较多的操作的结果，这样，在执行查询时，就可以避免进行这些耗时的操作，而从快速的得到结果。当源表发生变化时，物化视图也应当刷新。3)基于有界计算的访问约束：基于上述有界计算的原理，可以在表上创建访问约束(AC){x-y,N}，对于表的任何满足访问约束的查询Q，都可以改写为对AC的查询Q’，从而加速查询性能。

而在大数据分析场景，针对海量数据的分组聚集、join、过滤等操作计算量都非常大，查询效率较低。基于有界计算理论的访问约束，对于包含分组聚集、join、过滤等操作的复杂查询的加速效果不够理想。存在大数据分析场景下访问约束效率不高的问题，极大的影响了查询效率。

发明内容

鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种基于预计算场景的查询处理方法及其装置，包括：

一种基于预计算场景的查询处理方法，所述方法涉及用户端、优化端、执行端和数据库，所述方法包括：

所述优化端接收所述用户端发送的查询请求，所述用户端用于依据用户需求生成查询请求，并向所述优化端发送所述查询请求；

所述优化端依据所述查询请求在所述数据库中读取元数据，其中，所述元数据包括数据表和访问约束集合；

所述优化端依据所述数据表内的数据进行预计算处理生成第一访问约束，其中，所述预计算处理包括条件过滤、聚集函数和表达式计算；

所述优化端依据所述第一访问约束和查询改写类型生成查询计划，其中，查询改写类型包括Filter匹配改写、投影匹配改写、聚集列匹配改写和Join改写；

所述优化端将所述查询计划发送至所述执行端，所述执行端用于将所述查询计划执行后生成的查询结果反馈至所述用户端。

进一步地，所述依据所述数据表内的数据进行预计算处理生成第一访问约束，其中，所述预计算处理包括条件过滤、聚集函数和表达式计算的步骤，包括：

当所述预计算处理为所述条件过滤时，所述优化端依据预设过滤条件在所述数据表的所述数据中确定符合所述预设过滤条件的预处理数据；

所述优化端依据所述预处理数据生成所述第一访问约束。

进一步地，所述依据所述数据表内的数据进行预计算处理生成第一访问约束，其中，所述预计算处理包括条件过滤、聚集函数和表达式计算的步骤，包括：

所述优化端依据所述数据生成第一初始访问约束，并获取所述第一初始访问约束中的第一表达式集合和第二表达式集合；