[发明专利]面向数据库一体机的内存数据仓库行列存储转换实现方法

摘要

本发明涉及一种面向数据库一体机的内存数据仓库行列存储转换实现方法，其步骤：构建内存数据仓库一体机存储模型：在数据库一体机架构上，采用维表集中存储，事实表分布存储策略；设置存储引擎；设置行列存储模型转换策略；在数据库一体机上的实时OLAP查询处理任务分解为在主节点事实表行缓存、影子数据列缓存以及存储服务器节点事实表主分片上的分布式OLAP查询处理任务，实现基于实时数据上的OLAP分析处理。本发明实现了将事务处理引擎的行存储记录高效地转换为分析引擎的列存储记录，并支持在实时数据上的OLAP分析处理。本发明适用于面向内存数据仓库一体机在更新操作中的行列存储结构转换应用场景。

主权项

1.一种面向数据库一体机的内存数据仓库行列存储转换实现方法，其特征在于包括以下步骤：1)构建内存数据仓库一体机存储模型：在数据库一体机架构上，采用维表集中存储，事实表分布存储策略；2)设置存储引擎；所述步骤2)中，具体设置方法如下：2.1)维表采用行存储引擎，利用成熟的事务型内存数据库系统支持插入、修改或删除的更新操作；维表上的查询为选择和投影操作，当维表大于预设大小且查询选择率低于预设查询选择率阈值时，其中，预设大小和预设选择率阈值根据实际情况确定，为维属性创建位图索引；2.2)事实表存储分为两种类型：2.2.1)在数据库一体机高性能服务器集群维表存储引擎中设置事实表缓存，用于缓存插入的行存储结构事实表记录，同时设置一个内存列存储结构事实表缓存，用于实现事实表记录的内存行列转换；2.2.2)事实表数据以水平分片方式存储于存储服务器集群；事实表存储采用列存储，事实表列按优化配置参数划分为列分片，每个列分片是一个独立的列数据压缩存储单位，独立设置列分片压缩算法及相关压缩元数据；3)设置行列存储模型转换策略；所述步骤3)中，具体设置方法如下：3.1)维表映射为维度，在OLAP查询处理时维表映射为一个向量列，表示OLAP查询在维表上的选择和投影操作结果；当维表用数据库存储时，设置维表主键列为AUTO_INCREMENT类型，自动为维表分配连续的主键值，删除的记录产生缺失的主键值；3.2)事实表数据的行列转换包括从高性能服务器集群事实表缓存到列缓存，从列缓存到闪存，从高性能服务器集群闪存到存储服务器集群闪存，从存储服务器闪存到内存，从内存行组到内存压缩列分片；4)在数据库一体机上的实时OLAP查询处理任务分解为在主节点事实表行缓存中未进行列转换的行组、影子数据列缓存以及存储服务器节点事实表主分片上的分布式OLAP查询处理任务，实现基于实时数据上的OLAP分析处理；所述步骤4)中，实时OLAP查询处理根据不同的优化策略执行步骤如下：4.1)在高性能服务器主节点，事实表缓存使用行存储引擎，行缓存以优化的逻辑行组为数据管理单位，采用异步的方式通过后台工作线程将行记录转换为列记录，存储于影子列缓存，事实表缓存作为事实表最新数据分片，参与OLAP的查询处理执行；4.2)事实表行缓存记录向影子列缓存记录转换时使用循环队列管理影子列行组数据，影子列缓存数据只用于行列转换，不提供对OLAP查询处理的支持；4.3)内存影子列行组异步地转换为闪存列存储结构的影子块，将内存列数据物化，释放内存影子列行组空间，与事实表缓存中的其他行存储数据共同提供主节点上的OLAP查询处理支持；4.4)存储服务器集群节点完成闪存影子块数据复制时，如果高性能服务器节点闪存空间不足，由存储服务器节点闪存影子块接替高性能服务器节点闪存影子块提供OLAP查询处理，并释放高性能服务器节点闪存中相应影子块的存储空间；4.5)存储服务器节点采用内存循环队列加载闪存影子块数据，并将其对应的行组列按事实表列分片粒度进行列合并、列压缩，生成列分片，添加到存储服务器节点事实表分片链接表，更新事实表分片数据集；4.6)在完成事实表列分片的持久存储后，由事实表分片承担相应的OLAP查询处理任务，存服务器节点闪存和高性能服务器节点闪存中相应的影子块数据不再承担OLAP查询处理任务，并释放其占用的存储空间。