[发明专利]一种对OLAP预计算模型进行动态优化的方法及系统

说明书

本发明涉及一种对OLAP预计算模型进行动态优化的方法及系统，该方法包括：接收用户输入的查询语句；分析查询语句中使用的查询信息；根据预定义引擎规则，从特征查询信息中查找出当前OLAP预计算模型不支持的特征查询信息，将不支持的特征查询信息转换成新的虚拟查询信息；将新的虚拟查询信息添加到原始查询表中，形成新的查询表；根据新的查询表和新的虚拟查询信息，创建新的OLAP预计算模型。还涉及一种系统，还系统包括：查询统计分析器、模型优化器、规则引擎库、统计数据库。通过本发明创建新的OLAP预计算模型，这样可以提升查询效率，减少存储空间，对用户透明，且更高效地应对大数据上灵活复杂的分析场景。

技术领域

本发明属于OLAP预计算领域，尤其涉及一种对OLAP预计算模型进行动态优化的方法及系统。

背景技术

在现有的OLAP解决方案中，为了更加快速地对选定维度进行分析，会对OLAPCube进行物化，即提前通过预计算将OLAPCube上每个节点的度量进行聚合，并把结果保存起来。当业务分析人员执行查询时，系统可以直接对预计算结果进行返回。把O(N)级别的聚合运算转化成O(1)的结果查询。

但是，在遇到所需要分析的内容无法从这些已知的维度直接获取时，分析结果便不能根据OLAPCube的方式进行预先计算了。比如我们假设time这个维度记录的是订单生成的详细日期，分析订单时我们需要对比分析每个月的不同周的销售情况，那么在查询时我们就要对该time维度进行逻辑计算，获取该日期在当月的第几周内。由于预计算是在日期这个粒度上进行的，所以我们在查询时，需要先将之前在日期粒度上计算的结果查出，然后再根据日期计算出的周数进行汇总。这是基于预计算的OLAP技术方案在处理包含业务逻辑计算的复杂查询时的常见问题。无法对业务逻辑进行预先计算，在查询时，还需要在数据立方体上进行再次扫描，实时的对业务逻辑进行二次计算，这大大降低了查询效率。

目前大多是通过创建视图或者抽取、转换、加载(ETL)等方式将包含业务逻辑的计算变换成一个或者多个列，预计算时使用转换后的列作为预计算的维度，充分利用预计算的优势，达到提高查询效率的目的。

但是这样的方式会导致由于原始业务逻辑已经通过创建视图或者ETL转换成新的列，当与客户端集成时，对应的查询语句也需要发生变化，查询需要被改写成使用新创建的列的查询，而非原始查询。这对于使用工具生成查询语句的系统来说，集成的成本非常高，需要对工具进行二次开发或者改写。对于使用第三方商业软件进行查询的系统来说，甚至是无法集成。

通常来说，业务逻辑是会发生变化的。当业务逻辑发生变化时，通过创建视图或者ETL转换的列也要进行一定的改动。这势必会使得视图会被频繁的改写，或者ETL的实现代码不断的被修改。该技术方案并不能灵活应对业务逻辑的变化，带来了较高的维护成本。

另外，在提高查询效率的同时也需要消耗成本，因此并不是预先计算的内容越多越好。通常来说，我们对那些频繁被查询到的内容才进行预计算。那么对于使用创建视图和ETL转换的方案来说，难以正确区分频繁查询到的内容与偶尔查询的内容，无法对所有的情况进行通用的处理，这样也大大增加了预计算的成本。

发明内容

本发明所要解决的技术问题是：现有的OLAP查询方式，其效率比较低，预计算成本比较高，通用性差，灵活性差。

为解决上面的技术问题，本发明提供了一种对OLAP预计算模型进行动态优化的方法，该方法包括：

S1，接收用户输入的查询语句；

S2，根据预定义引擎规则分析所述查询语句中使用的查询信息，判断所述查询信息中是否有与所述预定义引擎规则中的查询规则相匹配的特征查询信息；

S3，若匹配，则统计所述特征查询信息的出现次数，并将所述特征查询信息存储到统计数据库中；