[发明专利]一种OLAP预计算模型、自动建模方法及自动建模系统

说明书

本发明涉及一种OLAP预计算模型、自动建模方法及自动建模系统，该模型包括：维度模块、聚合组模块、度量模块；该方法包括：对所有的数据源进行数据统计，得到数据统计结果；根据用户给定的数据模型以及对目标查询进行查询预演，确定业务模型；对样例进行查询预演，并收集查询统计；进行物理建模，并定义预计算模型的维度、度量、聚合组；得到业务建模结果；得到预计算模型；该系统包括：数据统计模块、业务模型模块、查询统计模块、建模建立模块。本发明通过增加衍生维度、聚合组，对预计算维度进行更加有效的组合，减少冗余计算和数据存储，具有更高的计算效率和更小的存储占用，从而在大数据多维分析应用中取得更好的效果。

技术领域

本发明涉及OLAP多维数据分析的技术领域，尤其涉及一种OLAP预计算模型、自动建模方法及自动建模系统。

背景技术

在信息化和数据化的时代，如何对数据进行多维分析以进行决策支持，是商务智能和数据挖掘领域的重要课题，OLAP(尤其是MOLAP)就是为了解决这一问题而产生的。

一般情况下，数据仓库的数据量较大，直接在大量数据上进行多维聚合运算需要耗费大量的计算资源，以及过长的查询耗时。OLAP提供了一种基于预计算提高多维分析效率的解决方案，即通过实现一个“数据立方体”对数据仓库中的数据按不同的维度组合进行预聚合，并把结果保存下来；当分析师进行实际业务查询时，无需重新对数据执行聚合运算，而是直接读取预计算结果，这使得对百万甚至上亿数据规模的分析变得可能。

OLAP Cube(数据立方体)是数据仓库中对于多维分析数据模型的抽象，包含了多维分析中不同的维度组合，例如，下图6所示中包含了4个维度，分别是time、item、location、supplier，这4个维度间不同的组合构成OLAP Cube中的不同节点，每个节点代表在这些维度组合下的度量聚合结果。当用户进行多维分析时，所选定的维度组合对应Cube中的一个点，考量的数值就是节点背后的度量聚合结果。

在常见的OLAP解决方案中，为了更加快速地对选定维度进行分析，会对OLAP Cube进行物化，即提前通过预计算将OLAP Cube上每个节点的度量进行聚合，并把结果保存起来。当业务分析人员执行查询时，系统可以直接对预计算结果进行返回。把O(N)级别的聚合运算转化成O(1)的结果查询，查询效率的提高可想而知。

OLAP Cube还基于维度定义了维度的层级。例如year，month，day这三个维度之间存在着一种层级关系：year>month>day，这些层级关系往往可以和现有应用中的概念进行映射，方便分析师在数据挖掘系统中更加灵活地应用。

但是，在大数据多维分析场景中，数据规模往往在千亿甚至万亿级别，且维度数量过多、维度基数超大，存在维度爆炸的隐患。如果依然对所有维度组合的情况进行预计算，一定会导致预计算时间过长、结果数据量过大，这一方面增加了预计算和存储成本，另一方面也给大量预计算结果的扫描带来了挑战。

发明内容

本发明所要解决的技术问题是：目前的技术对于维度数量过多、维度基数超大的数据分析业务，存在维度爆炸的隐患，并且预计算时间过长、结果数据量过大，一方面增加了预计算和存储成本，另一方面也给大量预计算结果的扫描带来了挑战。

为解决上面的技术问题，本发明提供了一种OLAP预计算模型，该预计算模型包括：维度模块、聚合组模块、度量模块；所述的维度模块包括普通维度单元和衍生维度单元；所述普通维度单元，用于对事实表上的字段进行预计算；所述衍生维度单元，用于对维表上的主键进行预计算，并记录维表上的列和主键的映射关系；所述衍生维度单元中的衍生维度的维表主键和所述普通维度单元中的普通维度作为预计算维度，符合特定排列顺序；所述聚合组模块，用于将在维度模块中预计算维度划分成多个聚合组；所述度量模块，用于按照维度模块中所有预计算维度的组合聚合生成预计算结果。