[发明专利]一种基于统一视图的行列混合数据存储模型的建立方法

权利要求书

1.一种基于统一视图的行列混合数据存储模型的建立方法，其特征在于，包括如下步骤：

基于原始数据结构进行数据抽象，从原始记录中，标识出需要进行列式存储的列；

对所述需要列式存储的列进行维度分析，为每一列建立对应的维度值索引表，所述维度值索引表包含两列：原始值以及对应的值标识，所述值标识记为VID；

将原始数据表视为事实表，将需要列式存储的列视为维度表，建立星型模型；

对所述事实表进行加工，对每条原始记录生成唯一的记录标识，记为RID；

对所述维度表进行加工，依据所述维度值索引表将对应的维度表更改为两列结构：<RID,VID>，并建立对应的索引；

进行数据重组，对已入库数据进行数据重组，将原始数据表分成两个部分：事实表和维表，该事实表不包含维表相关列，且该事实表按行存储，将维表、维度值索引表按列存储；对于新增数据，将依据星型模型进行处理后，再入库。

2.根据权利要求1所述的方法，其特征是在数据抽象时，将在传统实体关系模型中需要建立索引的列进行显著标识。

3.根据权利要求1所述的方法，其特征是在对所述需要列式存储的列进行维度分析时，对所述维度值索引表的两列建立对应的B-TREE索引，分别记为DVI和VII。

4.根据权利要求3所述的方法，其特征是所述DVI用于构建维表，所述VII用于查询分析结果往原始值的映射。

5.根据权利要求1或2或3所述的方法，其特征是所述值标识VID为32位无符号数。

6.根据权利要求5所述的方法，其特征是对所述维度表进行加工时，使用VID可节省存储，降低查询分析的I/O开销与内存消耗。

7.根据权利要求1到4中任意一项所述的方法，其特征是在进行数据重组时，将列存数据与行存数据分开存储到不同的存储介质中。