[发明专利]面向并发OLAP的数据库查询处理方法

说明书

技术领域

本发明涉及一种数据库查询处理方法，尤其涉及一种通过谓词向量的批量位处理技术，降低并发OLAP中星型连接的代价，提高并发查询处理能力的方法，属于数据库管理技术领域。

背景技术

当今，数据处理大致可以分成两类：联机事务处理(on-line transaction processing，简写为OLTP)和联机分析处理(On-Line Analytical Processing，简写为OLAP)。OLTP主要是日常的事务处理，例如银行交易。OLAP的设计目标是满足决策支持或者多维环境下特定的查询和报表需求。包括OLAP在内的诸多应用驱动了数据仓库技术的出现和发展；而数据仓库技术反过来又促进了OLAP技术的发展。

在OLAP中，I/O(输入/输出)是最主要的性能瓶颈。当并发查询独立地访问磁盘上的事实表时，大量的随机位置访问会产生巨大的磁盘寻道延迟，极大地降低磁盘的有效吞吐性能。目前，并发查询处理的主流技术是对慢速磁盘上的事实表I/O访问进行共享，并消除不同查询处理任务对磁盘访问的争用。在这个过程中，技术的关键是建立共享I/O上的并发查询处理代价模型，获得I/O延迟与缓存数据上的并发查询处理延迟之间的最佳负载匹配。但是，在OLAP中存在复杂的星型连接操作，导致并发查询处理的整体执行时间随查询的不同而难以预期，无法获得统一的并发查询处理代价模型。另外，在传统的磁盘数据库中，维表及查询处理中所涉及到的HASH聚集表等临时数据结构也需要磁盘访问，这又进一步降低了磁盘I/O的性能。

在共享I/O的情况下，并发查询处理所面临的关键技术挑战有三点：一是在查询处理时将维表需要的数据迁移到内存中，以消除或减少与事实表扫描所造成的I/O争用；二是优化设计OLAP查询处理算法，实现对不同选择率、不同维表连接数量、不同查询参数的多样化查询进行常量执行时间的可预期查询处理技术研究，消除不同查询之间的性能差异；三是建立可靠的共享I/O并发查询处理代价模型，根据数据库存储模型(行存储、列存储)和磁盘I/O性能(磁盘、SSD、RAID)设置合理的并发查询负载，优化系统资源。

可预期查询处理技术的一个代表性解决方案(IBM BLINK)是通过非规范化技术(denormalization)将维表和事实表进行预连接并进行压缩处理，从而将OLAP中的星型连接操作转换为行压缩数据上基于位操作的过滤和聚集处理，每条记录的过滤代价相同，能够获得接近常量的查询处理性能。该技术方案适用于完全只读模式的数据仓库。但对于当前日益增加的操作型OLAP处理来说，其物化数据的存储空间代价和维表更新导致的数据全部重构代价影响了该技术方案的可行性。另外，事实表记录与维表记录之间的参照完整性约束条件使维表在物化时产生大量重复数据，相同维表主键所对应的大量重复数据在物化表中需要进行大量的重复谓词计算，降低了CPU的效率。

可预期查询处理技术的另一个代表性技术方案是CJOIN，即通过将维表转换为共享的HASH过滤器和为HASH过滤器中的每一条记录附加并发查询谓词结果向量来标识该记录满足哪些查询的谓词表达式。OLAP中的星型连接操作在执行时将事实表的每一条记录依次推入每一个HASH过滤器，通过查询位向量的AND位运算来选择满足全部谓词条件的查询，并将结果集分发给各个查询对应的聚集器，从而完成分组聚集计算。该技术方案需要为查询组在每个维表上生成公共HASH聚集表，由于各个查询选择率和分组属性各不相同，公共HASH聚集表所包含的维属性数量较多，HASH聚集表的记录数量也较多，甚至HASH聚集表中可能需要存储全部的维表记录。这种公共HASH聚集表的膨胀会导致HASH过滤(HASH连接)的代价增大，HASH聚集表需要磁盘交换的可能性增大，查询的平均性能下降，每个HASH过滤器上的性能难以预测。当查询的选择率较低时，组查询需要在HASH过滤器之间传递大量的数据，甚至当最终查询位向量全为零时也需要HASH过滤器之间传递数据，但实际上只有查询位向量结果中非零位置对应的查询才需要使用HASH过滤器之间传递的全部数据，这就造成了大量内存带宽的浪费。

发明内容

本发明所要解决的技术问题在于提供一种面向并发OLAP的数据库查询处理方法。该方法通过谓词向量的批量位处理技术，降低并发OLAP中星型连接的代价，从而提高并发查询的处理能力。

为解决上述的技术问题，本发明采用下述的技术方案：