[发明专利]一种OLAP数据模型自动建模的方法、分类器装置

说明书

本发明涉及一种OLAP数据模型自动建模的方法、分类器，该方法包括：获取SQL查询语句；对SQL查询语句进行解析，判断该SQL查询语句中是否存在语法或者词法错误；若不存在，则对该SQL查询语句进行查询结构抽取，得到至少N组查询模式；对该至少N组查询模式进行分类；将每类中的查询模式进行合并，得到对应的模式关系树；将该模式关系树转换成对应的数据模型。还涉及一种分类器，该分类器包括：静态规则分类模块、统计规则和预设学习规则分类模块。通过本发明所生成的数据模型既能完全支持所有的输入SQL，同时又具有一定的泛化能力还可以完全支持Cube操作和快速查询有效降低了用户的学习难度和试错成本。

技术领域

本发明属于OLAP大数据信息领域，尤其涉及一种OLAP数据模型自动建模的方法、分类器装置。

背景技术

在当今数据化的时代，如何通过OLAP分析海量、复杂的数据以辅助商业决策，是商务智能和数据分析领域的重要课题；而数据模型就是OLAP分析的基础。

一般的，OLAP分析的架构底层是数据仓库，包含一系列数据表；建模人员根据业务分析需求，基于这些表设计数据模型供分析人员使用；最终，分析人员的分析操作都会转化为一系列针对数据表的SQL查询。数据模型给数据表赋予了业务含义，解耦了数据底层和业务需求的关系，是整个架构中不可或缺的一部分。

在大数据多维分析场景中，数据规模可达千亿或万亿级别，且维度数量过多、业务场景复杂多变，增大了数据建模的难度；OLAP Cube的使用不建议数据模型有频繁的改动，又增大了数据建模的试错难度。这些都给建模人员带来了较大挑战，如何通过计算机算法实现自动建模以减少人工建模的代价，显得尤为重要。

发明内容

本发明所要解决的技术问题是：现有的OLAP模型极度依赖人工对数据表和业务需求的理解而实现，建模效率较低、成本较大，无法实现自动建模。

为解决上面的技术问题，本发明提供了一种OLAP数据模型自动建模的方法，该方法包括：

S1，获取SQL查询语句；

S2，对所述SQL查询语句进行解析，根据解析结果判断所述SQL查询语句是否存在语法或者词法错误；

S3，若不存在，则根据所述SQL查询语句使用到的与源数据相关的列信息和表信息，对所述SQL查询语句进行查询结构抽取，得到至少N组查询模式，其中N为大于等于1的自然数；

S4，对所述至少N组查询模式进行分类；

S5，将每类中的查询模式进行合并，得到对应的模式关系树；

S6，将所述模式关系树转换成对应的数据模型。

本发明的有益效果：通过上述的方法，对输入的SQL样例进行解析并抽取特征，寻找出数据模型所需的模式；再对这些模式进行聚类、合并，生成所需的所有数据模型，所生成的数据模型既能完全支持所有的输入SQL，同时又具有一定的泛化能力。另外所生成的数据模型可以完全支持Cube操作和快速查询，并保证Cube膨胀率在10倍以内，且该自动建模有效降低了用户的学习难度和试错成本，优化了用户体验。

进一步地，所述列信息是指所述SQL查询语句中使用的所有列，其中每列中包括：该列的列名、该列所在的表、该列的类型和该列出现的次数。

所述表信息是指所述SQL查询语句中使用的所有表，其中每表中包括：该表的表名、该表的类型、该表和事实表的关联信息。

进一步地，所述S4中对所述至少N组查询模式进行分类包括：

S41，采用静态规则对所述至少N组查询模式进行差异判断，其中，所述静态规则是指计算任意两组查询模式中相同的表的差异度，判断所述表的差异度是否大于第一预设阈值，若大于，则两组查询模式不可分为一类；