[发明专利]一种面向数据库一体机的内存数据仓库查询处理实现方法

摘要

本发明涉及一种面向数据库一体机的内存数据仓库查询处理实现方法，其步骤：构建内存数据仓库存储模型；构建内存数据仓库一体机分布式存储模型；高性能计算服务器集群数据更新策略：当高性能计算服务器集群内存容量不足时，采用循环队列更新策略淘汰最久的数据，更新为最新的数据；实现内存数据仓库一体机OLAP查询处理。本发明能提高数据库一体机不对称存储与计算资源的利用率，提高内存OLAP整体性能，可以进一步将多个查询的不同处理阶段在数据库一体机平台上流水并行处理，提高系统OLAP查询吞吐性能。本发明适用于面向内存数据仓库一体机的内存OLAP应用场景，能够适应数据库一体机不对称硬件架构下的内存OLAP性能加速需求。

主权项

1.一种面向数据库一体机的内存数据仓库查询处理实现方法，其特征在于包括以下步骤：1)构建内存数据仓库存储模型；所述内存数据仓库存储模型采用融合的多维关系OLAP模型，多维关系OLAP模型构建过程如下：1.1)逻辑数据模型：将数据仓库的多维数据集结构划分为维度、多维索引和度量三种数据结构；1.2)物理数据模型：维度存储为维表和维向量，维表采用行存储或列存储数据库引擎，维向量以数组结构表示维度，数组下标映射为维度坐标；多维索引采用列存储模型；度量存储为事实表，采用列存储；1.3)多维OLAP查询模型包括维映射、多维索引计算和聚合计算三个处理阶段；2)构建内存数据仓库一体机分布式存储模型；内存数据仓库一体机分布式存储模型采用以下两种分布式存储策略：2.1)维表、多维索引集中存储，事实表分布存储策略：2.1.1)维表集中存储于高性能计算服务器集群；当计算集群配置有大容量内存、配置多块众核协处理器加速卡设备时，内存数据仓库的多维索引集中存储于高性能计算服务器集群节点；2.1.2)事实表数据采用水平分片方式分布存储于存储服务集群节点上；2.1.3)多维计算生成的向量索引传输到相应的存储服务器集群节点，完成聚合计算；2.2)维表集中存储，多维索引、事实表分布存储策略：当高性能计算服务器集群内存容量相对存储服务集群内存容量较小且无法存储内存数据仓库全部的多维索引数据时，采用维表集中存储于高性能计算服务器集群，多维索引和事实表采用水平分片方式分布地存储于高性能计算服务器集群和存储服务器集群中；3)高性能计算服务器集群数据更新策略：当高性能计算服务器集群内存容量不足时，采用循环队列更新策略淘汰最久的数据，更新为最新的数据；4)实现内存数据仓库一体机OLAP查询处理，包括以下步骤：4.1)OLAP查询在高性能计算服务器集群执行，OLAP查询命令分解为相关维表上的维向量生成命令，过滤维表记录，投影出分组属性并对分组属性进行字典编码，以字典表编码作为维表记录对应的维向量单元值，不满足过滤条件的维表记录对应的维向量单元置为空值，创建OLAP查询相关的各维向量；4.2)采用多维索引集中存储，事实表分布存储策略时，多维索引按事实表物理分片进行逻辑分片；4.3)采用多维索引、事实表分布存储策略时，每个服务器节点保存完整的多维索引和事实数据分片，各服务器节点从高性能计算服务器集群下载维向量到本地节点，完成本地化的OLAP计算；4.4)当服务器节点配置有众核协处理器加速卡时，采用协处理器加速卡加速多维索引计算方法；4.5)在存储服务器节点端，当内存容量小于数据分片时，采用优化策略一完成多维索引计算。