[发明专利]面向数据库一体机的内存数据仓库行列存储转换实现方法

说明书

本发明涉及一种面向数据库一体机的内存数据仓库行列存储转换实现方法，其步骤：构建内存数据仓库一体机存储模型：在数据库一体机架构上，采用维表集中存储，事实表分布存储策略；设置存储引擎；设置行列存储模型转换策略；在数据库一体机上的实时OLAP查询处理任务分解为在主节点事实表行缓存、影子数据列缓存以及存储服务器节点事实表主分片上的分布式OLAP查询处理任务，实现基于实时数据上的OLAP分析处理。本发明实现了将事务处理引擎的行存储记录高效地转换为分析引擎的列存储记录，并支持在实时数据上的OLAP分析处理。本发明适用于面向内存数据仓库一体机在更新操作中的行列存储结构转换应用场景。

技术领域

本发明涉及一种内存数据仓库存储转换方法，特别是关于一种面向数据库一体机的内存数据仓库行列存储转换实现方法。

背景技术

随着大内存、多核处理器等硬件技术和内存数据库技术的发展，内存OLAP处理性能不断提高，大数据内存实时分析处理成为主流的技术。传统的事务处理引擎通常采用行存储模型，优化更新操作性能，而分析处理则通常采用列存储引擎，优化数据访问和处理性能。当前主流数据库开始支持事务处理引擎和分析处理引擎集成技术，如Oracle Databasein-memory，SQL server 2016等既支持事务处理，也支持分析处理。但当前主要的实现技术是为事务处理引擎增加一个列存储引擎加速分析处理性能，列存储引擎可以看作是事务处理引擎的影子数据(shadow data)，支持或不支持数据同步更新，主要技术难点是事务处理引擎的行存储结构数据如何高效地转换为列存储结构数据。列存储引擎不仅要按列存储数据，还需要通过数据压缩技术进一步提高列存储引擎的数据存储和处理效率。当前代表性的技术，如SAP HANA采用L1行存储引擎、L2非压缩列存储引擎和采用数据压缩的主存储列引擎来支持实时OLAP分析处理，在事务型行数据转换为分析型列数据时还需要解决列压缩以及字典表更新等问题，需要处理复杂的数据转换问题。

在面向数据库一体机架构的内存数据仓库系统中，少量高端服务器组成的高性能服务器集群和大量中低端服务器组成的存储服务器集群提供了不对称的存储和计算性能，不仅需要解决实时更新数据的行列存储结构转换任务，还需要根据数据库一体机的硬件架构特点将事务处理与分析处理分配在不同的集群，需要优化设计不同类型数据在不同集群上的存储策略，不同类型的数据在集群节点内及集群节点间的存储策略和存储模型转换策略。

发明内容

针对上述问题，本发明的目的是提供一种面向数据库一体机的内存数据仓库行列存储转换实现方法，该方法实现了将事务处理引擎的行存储记录高效地转换为分析引擎的列存储记录，并支持在实时数据上的OLAP分析处理。

为实现上述目的，本发明采取以下技术方案：一种面向数据库一体机的内存数据仓库行列存储转换实现方法，其特征在于包括以下步骤：1)构建内存数据仓库一体机存储模型：在数据库一体机架构上，采用维表集中存储，事实表分布存储策略；2)设置存储引擎；3)设置行列存储模型转换策略；4)在数据库一体机上的实时OLAP查询处理任务分解为在主节点事实表行缓存中未进行列转换的行组、影子数据列缓存以及存储服务器节点事实表主分片上的分布式OLAP查询处理任务，实现基于实时数据上的OLAP分析处理。

所述步骤1)中，数据仓库中的维表集中存储于数据库一体机高性能服务器集群，维表采用多维关系模型，即维表记录映射为维度成员，维表主键映射为维度坐标。

在维表增加一个删除标志列D_Flag，逻辑标识删除的维记录，该维记录对应的主键值能分配给新插入的维记录。

所述步骤1)中，事实表在数据库一体机架构中采用分布式存储策略，事实表以水平分片方式存储在存储服务器集群节点，事实表分片采用列存储，列按照优化的行数划分为列分片，列分片作为列数据压缩存储单位。