[发明专利]一种大数据分析任务的高效云配置选择算法

摘要

本发明提出了一种大数据分析任务的高效云配置选择算法，通过选取部分输入数据进行小规模集群实验，进而构建性能预测模型，利用性能预测模型预估任务在大规模集群上的性能表现，并且通过性能预测结果来确定最佳的云配置。通过使用上述算法，能够用更低的模型训练时间和成本来有效地帮助用户找到最佳的云配置。为部署在云计算平台上的大规模数据分析任务选择最佳的云配置，可以显著提高其运行效率，并且降低运行成本。

主权项

1.大数据分析任务的高效云配置选择算法，其特征在于，包含以下步骤：步骤1：训练数据收集：选取多个一定比例的输入数据和该比例对应的任务执行时所使用的云服务器实例个数，确定每组试验参数和任务完成时间，其中，所述一定比例指实验使用数据占输入数据的比例；步骤2：模型构造：利用步骤1中的试验参数和任务完成时间，以所述的输入数据比例和实例个数，设计涉及输入数据比例和实例个数的拟合多项式，确定基础预测模型中w_k的值。其中β_k表示是否选择了拟合项f_k(β_k＝1表示选择该项)；模型转换：将步骤1中耗时最少的试验参数在目标实例类型下获得运行时间为t_target，利用映射的方式，目标实例类型的预测模型导出为其中步骤3：选择器构造：对于任务的给定输入数据集，利用步骤2得到的预测模型，计算满足特定运行时间和成本约束的最优选云配置。