[发明专利]面向动态负载场景的大数据系统跨层配置参数协同调优方法和系统

说明书

本发明提供一种适用于动态负载场景的大数据系统跨层配置参数协同调优方法和系统，包括对跨层多层软件进行参数进行重要性排序后的参数提取，对工作负载在多层大数据软件上运行的性能表现建模后寻找最优配置方案，以及在新工作负载到来后根据新工作负载的特性做模型迁移，以适应不同工作负载下的场景。

技术领域

本发明适用于应用软件性能优化技术领域，具体地说，是一种适用于动态负载场景的大数据系统跨层配置参数协同调优方法和系统。

背景技术

随着社交网络、即时通信、电子商务等网络服务的蓬勃发展，互联网和移动网络用户每天都在产生大量数据，大数据时代已经到来。根据大数据的“4V”特征，为了从海量且多变的数据中提取出有价值的信息，对大数据进行处理和分析必不可少。因此，作为大数据处理和分析的底层技术，大数据系统被广泛部署，以用于存储数据、调度计算资源以及处理和分析数据。通常来说，一套大数据系统由以下三个层次的应用软件组成：

数据存储层：负责待处理数据、数据处理过程中数据以及数据处理后结果数据的持久化存储。例如，HDFS作为存储层软件对处理层软件所需数据以及其产生的数据进行存储。

资源调度层：负责根据调度策略给具体执行数据处理任务的数据处理层软件分配硬件资源。例如，Yarn作为资源调度层软件为数据处理层软件分配硬件资源以执行数据处理任务。

数据处理层：负责执行具体的数据处理任务。例如，Spark可以利用Yarn分配的机器资源对大规模的数据进行高效的处理。

HDFS、Yarn和Spark是大数据系统生态中比较流行且通用的软件，单个软件只负责数据存储、资源调度、数据处理等流程中的一环，一个大数据处理任务通常需要大数据系统中跨层的多个软件协同完成。如图1所示，存储在HDFS中的数据传入Spark中进行处理分析，Yarn负责给Spark分配足够的机器资源保证任务能够正常完成，Spark处理分析后的数据再存放在HDFS中做持久化处理。

为了完成来自不同需求场景的大数据处理任务，大数据系统所面临的负载通常是动态变化的。因此，来自数据存储层、资源调度层以及数据处理层的大数据软件通常都会对外提供大量可以修改的配置参数，以适应不同大数据处理任务在性能方面的差异化需求。通过合理的调节这些性能相关的参数，可以优化大数据系统在不同负载场景下的性能表现。目前为止，学术界和工业界主要使用两种方式对大数据系统中的软件进行配置参数调优：(1)通过专家的经验和测试结果手动调优配置参数。由于大数据系统中不同软件拥有不同的配置参数，并且配置参数与软件性能之间的关系复杂，导致这手动寻找最优配置参数非常耗时并且无法推广；(2)为了克服手动调优的缺点，研究人员开始使用基于模型的方法进行配置参数自动化调优。这种方法的主要思路是针对某种特定的大数据软件，采集其在特定负载下不同配置参数对应的性能指标，然后建立配置参数与性能指标之间的模型，最后使用特定的算法根据性能模型搜索最优配置。然而，已有方法通常只适用于大数据系统中工作在特定负载下的某种特定软件。

如申请号为CN201710361578.3公开的基于深度学习的大数据系统配置参数调优的方法和系统，方法包括：神经网络训练步骤，初步构建深度神经网络，以至少一个映射规约参数作为输入参数，以待预测出最优配置参数作为输出参数，以大数据系统的历史数据作为训练样本集；再以映射规约时间作为该深度神经网络的衡量标准，基于反向传播思想的参数学习规则对每层神经元的权值进行调整，直至映射规约时间满足时间成本要求；配置参数预测步骤，设定至少一个映射规约参数的初始值，并读取当前测试数据，输入到经由神经网络训练步骤得到的深度神经网络中，得到配置参数。本发明通过深度神经网络对映射规约框架中的配置参数进行调优，避免了人工调节，且预测的参数应用效果好。该方法采用模型的方式进行大数据系统配置参数调优，该方法不适用动态负载场景的大数据系统跨层配置参数协同调优。