[发明专利]面向动态负载场景的大数据系统跨层配置参数协同调优方法和系统

权利要求书

1.面向动态负载场景的大数据系统跨层配置参数协同调优方法，其特征在于，包括以下步骤：

S1：对数据存储层、资源调度层、数据处理层中各软件进行参数重要性排序，选取前设定维参数；对提取的前设定维参数进行随机取值，生成多组配置；

S2：将多组配置带入大数据系统执行，生成特定配置下的性能标签，最后得到配置性能矩阵；

S3：使用配置性能矩阵利用随机森林建立性能模型，并存储目标性能模型用以新工作负载进行模型的迁移；

S4：将目标性能模型带入遗传算法，由遗传算法找出该工作负载下数据存储层、资源调度层、数据处理层中软件协同令系统整体性能表现最好的一套配置参数；

S5：当新的工作负载到来时，计算当前新工作负载与原有各工作负载的相似度，根据相似度计算结果，出现以下两种情况：

(1)若相似度取最大值且大于阈值，则认为新工作负载与该原有工作负载相似，将该原有工作负载的性能模型通过一定的补偿机制迁移为当前新工作负载的性能模型，然后使用遗传算法在性能模型上搜寻当前新工作负载的最优配置；

(2)若相似度未达到阈值，则认为当前新工作负载为未记录的新类型负载，则采用贝叶斯优化在线对所述设定维参数进行选取，找到符合要求的配置令当前新类型负载执行，同时对该新类型负载执行步骤S1-S4，当找到最优配置时，使用最优配置执行。

2.根据权利要求1所述的面向动态负载场景的大数据系统跨层配置参数协同调优方法，其特征在于，所述步骤S1包括：

S11：使用Lasso算法对最重要的20维参数进行选取；其最小化的目标函数为:

F_Lasso＝||y-Xw||₂²+α||w||₁

通过对最小二乘法加上一个惩罚项来对重要特征参数进行提取；其中w为各特征参数的系数，w越大表明该参数越重要，当某特征参数的系数w取值为0时则剔除该项参数，通过此种方法提取出20维对模型输出影响最大的系数；

S12：对于这20维参数，随机生成200套配置参数；若为数值型参数则在以下公式确定的范围内进行随机取值：

range＝[d_p/x，d_px]

其中d_p为参数p的默认值，x为固定的比例系数，在本发明取x＝10；

若配置参数的取值为布尔型或者枚举类型的值则使用One-Hot编码方式对参数值进行编码，然后在取值范围内随机选取参数值。

3.根据权利要求2所述的面向动态负载场景的大数据系统跨层配置参数协同调优方法，其特征在于，所述步骤S2包括：

S21：依据S1生成的200套配置参数，通过自动化部署代码将相应的参数取值更新至数据存储层、资源调度层、数据处理层中对应的软件中；

S22：将工作负载加入大数据处理流程中，获取配置对应在该工作负载下的性能标签；

S23：根据上一步得到的配置及其对应的性能标签生成配置性能矩阵。

4.根据权利要求1所述的面向动态负载场景的大数据系统跨层配置参数协同调优方法，其特征在于，所述步骤S3包括：

S31：处理配置性能矩阵，按照60％∶20％∶20％的比例将配置性能矩阵拆分为三个部分，分别作为供随机森林进行性能模型建模使用的训练数据集、验证数据集以及测试数据集；

S32：对于训练集中的数据采用Bootstrap策略抽取n组相同维度样本集，这n组样本集具有相同的样本个数，但样本不一定相同，同时每个样本具有相同维数的配置参数特征，但配置参数特征不一定相同；

S33：每一个样本集建立一个回归树模型，共计n个回归树；

S34：n个回归树的输出为{pt₁，pt₂…pt_n}，取其平均值作为模型的最终输出

并将该工作负载的特征及其对应的性能模型存储在系统中，用以将来新工作负载的比较与迁移。