[发明专利]一种基于先验知识的大数据框架配置参数优化方法

说明书

本发明公开了一种基于先验知识的大数据框架配置参数优化方法，该方法包括：从大数据框架适应的任务分布中选择多种类型任务，在不同参数配置下执行，获得不同类型任务运行时间和配置参数之间的关联关系；根据关联关系选择资源相关的配置参数，构建为先验配置集，对所述先验配置集进行初始化，并通过改变所述先验配置集中各参数的取值以及改变大数据框架的计算能力，获得最小运行时间；基于所述最小运行时间确定任务运行的期望时间，作为控制后续任务运行终止的约束，并根据任务运行结果动态更新所述期望时间；在所有运行成功的任务中，找到运行时间最短的任务对应的配置参数，作为最优配置。本发明通过对小样本优化提升了大数据处理的性能。

技术领域

本发明涉及大数据处理技术领域，更具体地，涉及一种基于先验知识的大数据框架配置参数优化方法。

背景技术

近年来，随着大数据应用的普及，大数据通用并行框架得到了越来越多的重视。例如Hadoop框架使用MapReduce模型，通过分布式系统架构可以使用不同节点的资源进行大规模并行计算。Spark框架进一步扩展了MapReduce模型，与Hadoop相比，它将很多数据保存在内存中进行计算，减少了非常耗时的输入输出操作，因此显著提升了大数据处理速度，得到了广泛应用。

以Spark为例，Spark并行运算框架需要将任务分配到计算节点上进行运算。不同的任务需要配合不同的资源来完成，例如某些任务进行数据的快速处理，需要使用大量处理器资源；而某些任务运行过程中产生较多的临时数据，需要使用大量的内存。因此，对不同的任务需要使用不同的配置参数进行运行。

现有的Spark配置参数优化方法生成不同配置参数并使用这些参数得到运行结果，然后通过机器学习方法利用运行结果进行训练，进而找到其中最优的一组配置参数。具体而言，现有的Spark配置参数优化方法需要对每个新程序多次生成配置参数，然后使用这些配置参数运行任务，从而得到在不同配置参数情况下的任务执行时间。进一步地，通过机器学习算法，用得到的任务时间和对应的配置参数作为训练样本，通过大规模样本训练，得到配置参数和任务执行时间的关系，从而找到最优的一组配置。现有的机器学习法，需要大量的训练样本，而运行Spark进行大数据处理时，完成一次任务所需的时间有时候非常长(长达数小时甚至更长时间)，因此收集训练样本的过程非常耗时。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于先验知识的大数据框架配置参数优化方法，其是针对大数据处理框架，进行配置参数小样本优化的新技术方案。

本发明的技术方案是，提供一种基于先验知识的大数据框架配置参数优化方法，该方法包括以下步骤：

从大数据框架适应的任务分布中选择多种类型任务，在不同参数配置下执行，获得不同类型任务运行时间和配置参数之间的关联关系；

根据所述关联关系选择资源相关的配置参数，构建为先验配置集，对所述先验配置集进行初始化，并通过改变所述先验配置集中各参数的取值以及改变大数据框架的计算能力，获得最小运行时间；

基于所述最小运行时间确定任务运行的期望时间，作为控制后续任务运行终止的约束，并根据任务运行结果动态更新所述期望时间；

在所有运行成功的任务中，找到运行时间最短的任务对应的配置参数，作为最优配置。

与现有技术相比，本发明的优点在于，对于典型的大数据处理任务，通过多次运行找到较关键的参数，并将这些参数作为先验知识，进而在处理新的任务时，将先验知识用于初始化参数并运行任务。根据每次任务运行时间，得到一个新的期望时间，并将该期望时间作为后续运行时的最大准许运行时间。本发明利用先验知识，能够显著缩短初始化时间，并且在运行过程中，使用期望时间能够避免出现过长时间的任务。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明