[发明专利]一种适应协处理器的混合OLAP查询处理方法

说明书

技术领域

本发明涉及一种数据库领域中OLAP(联机分析处理)查询处理方法，特别是关于一种基于数组存储和向量计算的适应协处理器(Coprocessor，包括GPU图形处理器和英特尔Phi协处理器)的混合OLAP查询处理方法。

背景技术

性能是数据库最重要的指标，也是数据库研究长期关注的目标。硬件技术的飞速发展促进了数据库性能的提升，硬件对数据库性能提升的推动作用主要体现在两个方面：大容量内存开始取代传统的磁盘成为新的高性能数据存储设备；多核及众核协处理器(Coprocessor)提供高达几百至几千的并行计算资源实现高并行数据处理。在新的硬件技术支持下，内存计算(In-Memory Computing,IMC)成为企业级数据处理的主流技术。但是，单纯的数据存储从磁盘向内存的升级受到新的“memory wall(内存墙)”制约，需要在多级缓存、多通道内存访问、多/众核并行计算等技术的共同支持下才能充分地发挥先进硬件的作用，提升数据库的性能。因此，内存计算的高性能不仅仅取决于内存，还取决于现代多/众核处理器的强大并行计算能力，即内存计算需要扩展为内存多/众核并行计算(In-Memory Multi-/Many-core Computing,IMMC)。以NVIDAGPGPU(通用图形处理器)和Intel Phi Coprocessor为代表的协处理器计算技术是当前众核并行计算的代表性技术，由于其强大的硬件级并行计算能力和不同于通用处理器的硬件架构使其成为新兴的高性能内存计算研究领域的热点技术。由于Intel Phi Coprocessor技术较新，数据库技术在其上的研究刚刚起步，当前学术界的研究主要集中在CPU/GPU混合平台上的关系操作优化技术，尤其是OLAP(分析型查询处理)中计算代价较高的哈希连接在GPU上的优化技术，主要技术路线是根据GPU与CPU之间的PCIe通道数据传输性能、GPU并行计算性能等相关因素对混合平台上的查询操作基于代价模型分析创建分布式查询优化任务，提高整体OLAP查询处理性能。从关系操作符算法实现层面上看，GPU上的查询优化技术大多属于一种“调优(GPU-conscious tuning)”技术，即在Coprocessor端创建相应的内存数据结构，根据GPU硬件特性优化配置线程等参数，根据GPU存储结构特性优化算法实现技术等。关系操作模型是一种迭代处理模型，需要较多的分支指令，是面向数据密集型任务而优化设计的，而GPU中几百甚至几千的流处理器能够提供强大的向量计算能力，但对于复杂分支指令、迭代处理、线程间数据同步、大数据高延迟访问等操作的效率弱于通用处理器，客观地说，关系操作模型并不是适合GPU向量计算特征的理想的OLAP查询处理。

发明内容

针对上述问题，本发明的目的是提供一种适应协处理器的混合OLAP查询处理方法，该方法能实现多维查询处理，实现简单，不依赖复杂的数据结构，能有效提高大数据存储效率。

为实现上述目的，本发明采取以下技术方案：一种适应协处理器的混合OLAP查询处理方法，其包括以下步骤：1)采用MOLAP模型将多维数据集组织为数据CUBE，每一个存储单元对应唯一的多维空间坐标，即多维数组下标；事实数据存储所使用的隐式的多维数组下标，代表其在多维数组中的物理位置；2)采用semi-MOLAP模型将多维数据集用逻辑多维数组建模，构建虚拟多维数据CUBE；3)采用关系存储方式将事实数据压缩存储,只存储虚拟多维数组地址空间中实际的事实数据，并附加上逻辑多维数组地址空间中各维的坐标，与ROLAP模型中事实表采用外键和度量属性的存储方式相同，区别在于虚拟数据CUBE的序列化存储中的维坐标ID代表了事实数据在虚拟数据CUBE各维上的坐标位置；4)将n个维坐标ID和度量属性存储为列数组，即用列数组存储各事实数据属性；低势集的字符串类型属性采用轻量字典表压缩，数组中存储其较短的压缩编码；内存数据库和Coprocessor数据库采用完全的数组物理存储，将维表和事实表存储为数组族，数组下标用作数组间关联访问的索引；5)进行多维查询，多维查询是在多维数据集上按用户指定的维或维层次抽取多维数据子集并对其进行聚集计算的过程；在MOLAP模型中为在以多维数组存储的多维数据集上按维或维层次的映射以多维数组坐标访问数据并进行聚集计算；在ROLAP模型中将事实表和相关的维表连接后按查询条件选择记录并按指定的属性进行分组聚集计算；在semi-MOLAP模型中，多维查询包括单查询处理过程和并发查询处理过程，将多维查询结果数据CUBE还原为原始分组属性结果集。