[发明专利]一种基于成本模型的SPARK参数自动调优方法

权利要求书

1.一种基于成本模型的Spark参数自动调优方法，其特征在于，包括如下步骤：

步骤一：通过获取任务执行的配置与对应的成本信息，构建基于成本的性能模型，在给定的参数空间中获得优化配置；

步骤二：对于未知类型的任务，采用默认参数一次运行，通过判别任务相似性，给出优化配置的参考值；

其中，步骤一、具体包括以下步骤：

步骤(1.1)随机选择参数N次；

通过随机采样的方法，在给定的参数空间中，提供多种样本种类，其中N的次数大于等于20；

步骤(1.2)生成Spark任务执行脚本；

任务执行脚本的生成主要需要两个方面的内容：任务执行的命令和使用的配置参数；针对不同类型的任务，生成相应的执行本；

步骤(1.3)开启任务执行监控；

任务执行监控主要用于监控任务执行的情况，当发现有新任务执行时，会将相应的运行信息记录并保存至数据库中；

步骤(1.4)执行脚本，将结果写入数据库；

执行生成的Spark任务脚本后，会产生用于建模所需的成本数据，此时监控脚本会定时查看任务运行情况，将新产生的信息保存至数据库；

步骤(1.5)从数据库中读数据，进行性能建模；

在数据库中，存放任务执行的成本信息，每个配置参数对应值以及任务量，不同类型数据对任务量的定义不同，文本数据定义为文本的大小，社交图数据定义为节点数和边数，通过从数据库中读取同一种任务的多次实验数据，导入到机器学习模型中进行回归分析，其中因变量为成本，自变量为队形的配置和任务量；

步骤(1.6)存储性能模型；

存储性能模型用于执行参数空间搜索时调用，以及用于模型的升级；

步骤(1.7)执行参数空间搜索算法：

其中，所述步骤二，配置参数自动优化时，对于未知类型的任务，采用默认参数一次运行，通过判别任务相似性，给出优化配置的参考值，包括以下步骤：

步骤(2.1)载入新任务；

包括新任务的类型和任务量信息；

步骤(2.2)遍历数据库，寻找是否有相同类型的任务；如果有，跳转到子步骤(2-1)；否则跳转到子步骤(2-2)；具体步骤如下：

子步骤(2-1)调用已有的性能模型，进行参数优化，获得结果后，跳转到步骤(2.4)；

子步骤(2-2)执行一次新任务，跳转到步骤(2.3)；

步骤(2.3)调用相似度判别器；通过相似度判别器，判断是否有相似任务；具体步骤如下：

(3-1)判断是否有相似任务，如果是，跳转到(3-2)，否则跳到(3-3)；

(3-2)调用相似的性能模型，进行参数优化，获得结果后，跳转到步骤(2.4)；

(3-3)建立新的任务类型，开始进行参数调优，获得结果后，跳转到步骤(2.4)；

步骤(2.4)给出优化参数，并结束任务；

其中，采用两种不同类型的机器学习回归算法来生成性能模型，在生成模型时，需要调用数据库中存储的某一类型任务的所有信息，包括参数、任务量和对应的成本，以任务运行时间作为成本，计算如下：

(4-1)基于bagging的extratree算法，其计算公式如下：

MODEL_et＝ALG_{extratreeregressor}(P[x][y],COST_list)

其中MODEL_et表示使用extratree算法回归生成的性能模型，ALG_{extratreeregressor}表示extratree回归算法，P[x][y]为表示任务的参数和任务量矩阵，COST_list表示每个任务对应的成本列表；或者：

(4-2)基于boosting的XGBoost算法，其计算公式如下：

MODEL_xgb＝ALG_xgbregressor(P[x][y],COST_list)

其中MODEL_xgb表示使用xgboost回归生成的性能模型，ALG_xgbregressor表示XGBoost回归算法，P[x][y]表示任务的参数和任务量矩阵，COST_list每个任务对应的成本列表。