[发明专利]一种基于先验知识的大数据框架配置参数优化方法

权利要求书

1.一种基于先验知识的大数据框架配置参数优化方法，包括以下步骤：

从大数据框架适应的任务分布中选择多种类型任务，在不同参数配置下执行，获得不同类型任务运行时间和配置参数之间的关联关系；

根据所述关联关系选择资源相关的配置参数，构建为先验配置集，对所述先验配置集进行初始化，并通过改变所述先验配置集中各参数的取值以及改变大数据框架的计算能力，获得最小运行时间；

基于所述最小运行时间确定任务运行的期望时间，作为控制后续任务运行终止的约束，并根据任务运行结果动态更新所述期望时间；

在所有运行成功的任务中，找到运行时间最短的任务对应的配置参数，作为最优配置。

2.根据权利要求1所述的方法，其中，将所述期望时间设置为T*a，其中0a≤1，T是获得的最小运行时间。

3.根据权利要求1所述的方法，所述关联关系用于表征任务运行时间和配置参数之间的线性相关度、非线性相关度或二者的组合。

4.根据权利要求1所述的方法，根据以下步骤获得不同类型任务运行时间和配置参数之间的关联关系：

选择多种类型的任务，在不同配置情况下多次运行，分析第i次运行时间t_i和对应的配置参数c_1,i,c_2,i,…之间的关系，其中c_m,i代表第i次运行时的第m个参数；

根据运行结果，确定任务运行时间和配置参数之间的相关度R(t,c)，t表示运行时间，c表示配置参数。

5.根据权利要求4所述的方法，其中，将任务运行时间和配置参数之间的相关度R(t,c)表示为：

R(t,c)＝|PCC(t,c)|+MIC(t,c)

t表示运行时间，c表示配置参数，PCC表示皮尔森相关系数，MIC表示最大互信系数。

6.根据权利要求1所述的方法，其中，对所述先验配置集进行初始化，并通过改变所述先验配置集中各参数的取值以及改变大数据框架的计算能力获得最小运行时间包括：

对于所述先验配置集，将资源最大化配置进行运行，并改变内存使用率参数，将其增加和减少分别运行；

改变每个执行器的核数和内存大小，并尝试在每个计算节点上同时使用多个执行器运行任务，进而获得所述最小运行时间。

7.根据权利要求1所述的方法，其中，所述大数据框架包括Hadoop、Spark和Flink。

8.根据权利要求2所述的方法，其中，根据所述最优配置的搜索时间和所述最优配置对应的处理性能设定a的取值。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述的方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。