[发明专利]一种基于cost模型的商品汇总统计方法

说明书

本发明公开一种基于cost模型的商品汇总统计方法，其中，该方法包括：对表管理的信息进行收集；通过SQL语句解析得到执行计划，根据SQL执行计划计算其cost，并将计算出的cost进行评级；针对SQL执行计划后的cost等级，将SQL语句分配到不同资源上执行；保存执行日志进行评估和分析，划分cost集群等级，并根据cost值、cost集群等级和cost计算结果的关系，使用算法进行不断学习和调整。该方法通过对SQL语句进行cost计算分析，评估汇总统计SQL带来的资源消耗情况，根据cost评级结果将SQL下发到不同的资源下进行任务调度执行，达到资源隔离和保护效果，用户的服务也得到完善。

技术领域

本发明涉及商品数据汇总领域，尤其是一种基于cost(代价)模型的商品汇总统计方法。

背景技术

目前商品数据的横向扩展导致数据量的剧增，需要对各种商品进行数据汇总统计。一般分布式系统对于OLAP(联机分析处理)查询采用FIFO(先进先出)和FAIR(公平调度)等调度算法进行资源分配，例如Spark配置多个资源池，默认情况下Spark的调度模式是FIFO(先进先出)，谁先提交谁先执行，后面的任务需要等待前面的任务执行，而FAIR(公平调度)模式支持在调度池中为任务进行分组，不同的调度池权重不同，任务可以按照权重来决定执行顺序，使用哪种调度器由参数spark.scheduler.mode来设置。在多用户的环境下，可以对用户进行资源分配和隔离，但是每个用户资源下，依然是FIFO(先进先出)和FAIR(公平调度)等调度算法，无法根据查询带来的代价(cost)进行资源隔离。

一般商品数据的查询汇总中，对资源的消耗特别大，执行时间也会很长。如果同时有几个这样的查询在相同用户下并发执行，很容易造成占满集群资源，使得其他查询无法获取足够资源(即使这个查询占用的资源很小，执行很快)，这样下来，商品数据的汇总统计性能低，影响用户体验和决策效率，严重的话可能导致应用程序OOM或者集群崩溃。

成熟的OLAP(联机分析处理)系统都会使用CBO(Cost-Based Logical Optimizer，基于代价的逻辑优化器)来对执行计划进行优化。CBO的主要目的就是通过检查查询中使用到的表和条件，产生高效的执行路径，降低资源利用率，减少查询时间。通过解析成执行计划树，树上的节点代表查询的一个操作，每个操作都可以通过计算其对cpu(中央处理器)、io(流控制)、memory(内存)和network(网络)等资源的消耗来计算代价(cost)。

发明内容

针对上述情况，本发明提供一种基于cost模型的商品汇总统计方法，将资源隔离和CBO结合起来，根据商品数据汇总查询的cost来决定该查询任务在哪一种资源下进行，提高系统稳定性。

为实现上述目的，本发明采用下述技术方案：

在本发明一实施例中，提出了一种基于cost模型的商品汇总统计方法，该方法包括：

统计信息采集：对表管理的信息进行收集；

cost计算和评级：通过SQL语句解析得到执行计划，根据SQL执行计划计算其cost，并将计算出的cost进行评级；

资源分配和隔离：针对SQL执行计划后的cost等级，将SQL语句分配到不同资源上执行；

cost监控和调整：保存执行日志进行评估和分析，划分cost集群等级，并根据cost值、cost集群等级和cost计算结果的关系，使用算法进行不断学习和调整。

进一步地，表管理的信息包括表统计信息和字段统计信息，表统计信息包括行数、以byte为单位的表大小以及分区的大小和数目，字段统计信息包括字段数量、字段最大值、字段最小值、内容为null的记录数和字段平均长度。

进一步地，cost值＝过滤条件值+Join节点值+聚基数值；