[发明专利]一种基于成本模型的SPARK参数自动调优方法

摘要

本发明提出一种基于成本模型的Spark参数自动调优方法，包括如下步骤，步骤一：通过获取任务执行的配置与对应的成本信息，构建基于成本的性能模型，在给定的参数空间中获得优化配置；步骤二：对于未知类型的任务，采用默认参数一次运行，通过判别任务相似性，给出优化配置的参考值。本发明针对目前配置参数调优可能存在的问题提出了基于成本的性能模型，通过对Spark历史任务分析生成性能模型，通过参数空间搜索算法获取优化参数，同时随着新任务的运行不断对模型进行升级调整，增加模型的准确性，针对未知类型的任务，运行一次后，提供参数参考值。

主权项

1.一种基于成本模型的Spark参数自动调优方法，其特征在于，包括如下步骤：/n步骤一：通过获取任务执行的配置与对应的成本信息，构建基于成本的性能模型，在给定的参数空间中获得优化配置；/n步骤二：对于未知类型的任务，采用默认参数一次运行，通过判别任务相似性，给出优化配置的参考值；/n其中，步骤一、具体包括以下步骤：/n步骤(1.1)随机选择参数N次；/n通过随机采样的方法，在给定的参数空间中，提供多种样本种类，其中N的次数大于等于20；/n步骤(1.2)生成Spark任务执行脚本；/n任务执行脚本的生成主要需要两个方面的内容：任务执行的命令和使用的配置参数；针对不同类型的任务，生成相应的执行本；/n步骤(1.3)开启任务执行监控；/n任务执行监控主要用于监控任务执行的情况，当发现有新任务执行时，会将相应的运行信息记录并保存至数据库中；/n步骤(1.4)执行脚本，将结果写入数据库；/n执行生成的Spark任务脚本后，会产生用于建模所需的成本数据，此时监控脚本会定时查看任务运行情况，将新产生的信息保存至数据库；/n步骤(1.5)从数据库中读数据，进行性能建模；/n在数据库中，存放任务执行的成本信息，每个配置参数对应值以及任务量，不同类型数据对任务量的定义不同，文本数据定义为文本的大小，社交图数据定义为节点数和边数，通过从数据库中读取同一种任务的多次实验数据，导入到机器学习模型中进行回归分析，其中因变量为成本，自变量为队形的配置和任务量；/n步骤(1.6)存储性能模型；/n存储性能模型用于执行参数空间搜索时调用，以及用于模型的升级；/n步骤(1.7)执行参数空间搜索算法：/n其中，所述步骤二，配置参数自动优化时，对于未知类型的任务，采用默认参数一次运行，通过判别任务相似性，给出优化配置的参考值，包括以下步骤：/n步骤(2.1)载入新任务；/n包括新任务的类型和任务量信息；/n步骤(2.2)遍历数据库，寻找是否有相同类型的任务；如果有，跳转到子步骤(2-1)；否则跳转到子步骤(2-2)；具体步骤如下：/n子步骤(2-1)调用已有的性能模型，进行参数优化，获得结果后，跳转到步骤(2.4)；/n子步骤(2-2)执行一次新任务，跳转到步骤(2.3)；/n步骤(2.3)调用相似度判别器；通过相似度判别器，判断是否有相似任务；具体步骤如下：/n(3-1)判断是否有相似任务，如果是，跳转到(3-2)，否则跳到(3-3)；/n(3-2)调用相似的性能模型，进行参数优化，获得结果后，跳转到步骤(2.4)；/n(3-3)建立新的任务类型，开始进行参数调优，获得结果后，跳转到步骤(2.4)；/n步骤(2.4)给出优化参数，并结束任务。/n