[发明专利]一种大数据处理平台配置的自动优化方法

权利要求书

1.一种大数据处理平台配置的自动优化方法，其特征在于，根据以下步骤收集配置参数训练集：

随机生成大数据处理平台的一组配置参数，运行该组配置参数，并对执行时间t进行监测，当执行时间t超过动态设置的最大准许时间T_max时，终止运行；

在配置参数运行过程中，根据执行时间t的波动情况确定是否退出收集配置参数训练集的过程；

决定退出收集配置参数训练集的过程后，在所有运行成功的配置参数中选择执行时间最短的一组配置参数作为最优配置参数。

2.根据权利要求1所述的大数据处理平台配置的自动优化方法，其特征在于，根据以下步骤确定是否退出收集配置参数训练集的过程：

设定时间改进值为其中t_c为本次成功运行的时间，t_p为对比时间；

设置时间阈值为T_thres，当运行成功且δ＞T_thres时，t_p更新为当前时间；

n的初始值为n＝0，当每次运行成功且δ≤T_thres时，n＝n+1，当运行成功且δ＞T_thres时，n＝0；

当n大于设定的次数阈值时，则决定退出收集配置参数训练集的过程。

3.根据权利要求2所述的大数据处理平台配置的自动优化方法，其特征在于，根据以下步骤确定是否退出收集配置参数训练集的过程：

设置程序终止的次数n_s的初始值为n_s＝0，当出现程序终止的情况时，n_s＝n_s+1，当运行成功且δ＞T_thres时，n_s＝0，如果程序终止时n_s大于设定的终止次数阈值，则决定退出收集配置参数训练集的过程。

4.根据权利要求2所述的大数据处理平台配置的自动优化方法，其特征在于，根据以下步骤确定最大准许运行时间T_max：

将最大准许时间T_max初始值设置为无穷大，当运行成功且δ＞T_thres时，T_max＝t+Δt，其中t为该次运行成功的时间，Δt用来表示由于机器性能波动所造成的时间损失。

5.根据权利要求4所述的大数据处理平台配置的自动优化方法，其特征在于，Δt设置为固定值5秒。

6.根据权利要求2所述的大数据处理平台配置的自动优化方法，其特征在于，每次运行时，将运行时间和运行状态表示为s＝{P，F，T，N}，其中状态P表示成功运行，状态F表示由于配置参数的原因运行失败，状态T表示由于超过最大准许时间T_max被终止运行，状态N表示运行成功，但是运运行时间改进值δ＜0。

7.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至6中任一项所述方法的步骤。

8.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6中任一项所述的方法的步骤。