[发明专利]MOLAP中合并索引结构并保持查询一致性的机制

说明书

本文中描述新颖的方法，用于提供一种在进行无锁批量插入的同时保持高查询性能并且最小化额外存储需求的OLAP数据库系统。所要求保护的主题包括以下几个方面：利用索引树分页的垂直分片的副本合并两个索引结构且同时保持查询一致性，而无需使用版本控制方案的新颖方法；准备并合并在存储约束条件内运行的两个索引结构的方法；以及在进行索引维护的同时并发地执行查询并且仍生成一致的结果的方法。根据本发明的一方面，提供了一种通过三个阶段将数据从增量索引合并到主数据索引上的灵活的索引合并机制，即加载阶段、复制阶段和替换阶段。

技术领域

本申请要求于2015年7月7日提交的、申请序号为14/793,557、发明名称为“MOLAP中合并索引结构并保持查询一致性的机制”的美国非临时专利申请的优先权和权益，其全部内容通过引用结合在本申请中。

背景技术

在数据库计算中，联机分析处理(online analytical processing)或者说“OLAP”是一种快速管理多维分析(multi-dimensional analytical，MDA)查询的方式。OLAP工具是用户能从多个角度交互式分析多维数据。用于OLAP的数据库使用能够快速进行复杂分析和即兴查询的多维数据模型。OLAP系统的核心是OLAP数据立方(也叫做“多维立方”或超立方)。数据立方由叫做“量度”的数据组成，这些“量度”沿多个维度进行归类。量度被放在超立方的交点处，超立方被所述维度跨越形成向量空间。操控OLAP立方的接口通常是沿着所述维度进行聚合或平均等投影操作的矩阵接口。

多维联机分析处理或“MOLAP”是多维索引储存器，其针对OLAP系统通过自定义索引、分区、存储器内、列式存储和预聚合技术进行定制，从而实现更大的功效。实现MOLAP一般需要在OLAP立方中进行预先计算并存储信息。通常，MOLAP方案将数据存储在优化的多维阵列存储结构中，例如B树。

已经发展出许多将数据批量插入OLAP系统的方式。现有的OLAP批量插入技术一般依赖于利用锁定机制的B树更新技术。例如，其中一项技术涉及B树分页或键范围，并因为在插入过程中需要锁定分页或键范围而影响查询性能。这些机制对于B树索引结构的批量更新并不理想，因为大量更新需要在一次事务中完成，而这对于OLAP环境中更新而言很普遍。这些技术无法同时保持一致性和更新/查询性能。

另一技术依赖于将现有数据与增量数据在独立的存储(例如磁盘或存储器)中进行异地合并，一旦合并完成就切换至新合并的数据。这种技术保证了查询一致性并且不会产生停机时间，但是需要额外的存储，因为只有有足够的额外存储才能存储现有数据和新数据来进行数据合并。对于存储器内OLAP部署，这并非可行的解决方案。其它技术依赖于停机时间窗口，期间删除和重建索引。然而，在停机时间窗口期间无法进行查询。还有一种技术依赖于单独存储增量数据，而不用将增量数据与现有数据进行合并。为产生一个完整的回复，需要对数据的所有增量进行查询。因此，这种技术影响查询性能。查询性能随着存在的各增量的数量的增加而下降。最后，另一已知的技术依赖于利用多个B树索引对B树索引数据进行分区。不幸的是，在这种技术中，分区数量的增加也会对查询性能产生负面影响。

以上所有技术都无法在更新过程中既解决索引的原地批量更新，又保持查询性能或查询结果一致性。此外，以上提出的所有技术都不能充分解决所有与更新过程中的查询性能、查询停机时间、数据一致性、存储约束和优化有关的问题。

发明内容

提供此“发明内容”是为了以简化形式介绍选择的一些概念，这些概念将在下文的“具体实施方式”中进一步描述。本发明内容并非意在指示所要求保护的主题的关键特征或基本特征，也并非意在限制所要求保护的主题的范围。