[发明专利]基于资源特征的云计算平台计算任务成本预测方法及系统

说明书

本发明公开了一种基于资源特征的云计算平台计算任务成本预测方法及系统，本发明实施步骤包括：解析被预测计算任务的命令得到命令参数；从解析得到命令参数中通过主成分分析提取出主要特征参数自变量；将主要特征参数自变量输入预先训练好的机器学习模型，得到被预测计算任务的预测成本；所述机器学习模型通过预先训练建立了主要特征参数自变量、被预测计算任务的预测成本两者之间的输入输出映射关系。本发明通过分析并采集用户输入的命令参数，使用机器学习的算法来对算法任务进行成本方面的预测，能够获取更全面的资源特征参数作为机器学习算法的自变量用以满足数据训练及预测、降低无效资源特征参数对成本预测的干扰，具有预测准确的优点。

技术领域

本发明涉及云计算平台的任务调度技术，具体涉及一种基于资源特征的云计算平台计算任务成本预测方法及系统，可为云计算平台的任务调度提供依据。

背景技术

现有部分云计算平台中，运行的算法任务是以类似黑箱系统的形式存在，云平台系统对算法任务的内部架构和相互关系处于不可视状态。因此，云平台系统对算法任务存在的主要问题是无法确定用户输入的运行命令的具体含义及作用，也无法明确运行命令中所包含的参数的作用和对任务运行所造成的影响，因此不能提供给用户运行任务所需要的时间及成本方面的参考，影响用户体验以及系统分析。

现今机器学习已经可以影响云计算的多方面并创造巨大的价值，广泛的应用于系统的可扩展性、成本资源计算以及大数据的处理。通过存储在系统中的大量数据为机器学习提供信息来源，并根据百万级指标的用户使用来为机器学习提供训练的数据来源。因此，如何利用机器学习来实现云计算平台计算任务成本预测，已经成为一项亟待解决的关键技术问题。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于资源特征的云计算平台计算任务成本预测方法及系统，本发明通过分析并采集用户输入的命令参数，使用机器学习的算法来对算法任务进行成本方面的预测，能够获取更全面的资源特征参数作为机器学习算法的自变量用以满足数据训练及预测、降低无效资源特征参数对成本预测的干扰，具有预测准确的优点。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于资源特征的云计算平台计算任务成本预测方法，实施步骤包括：

1）解析被预测计算任务的命令得到命令参数；

2）从解析得到命令参数中通过主成分分析提取出主要特征参数自变量；

3）将主要特征参数自变量输入预先训练好的机器学习模型，得到被预测计算任务的预测成本；所述机器学习模型通过预先训练建立了包含主要特征参数自变量、被预测计算任务的预测成本两者之间的输入输出映射关系。

可选地，步骤1）的详细步骤包括：

1.1）解析被预测计算任务的命令，获取其中包含的命令参数；

1.2）对命令参数进行分类，分类为变量参数，文件参数以及常量参数。

可选地，步骤3）中被预测计算任务的预测成本包括任务运行时间、生成文件大小、消耗网络流量。

可选地，步骤3）中机器学习模型的训练步骤包括：

S1）生成变量参数、文件参数以及常量参数至少一种不同的计算任务的命令得到训练集以及测试集，初始化主要特征参数自变量为空；

S2）从训练集中遍历选择一条命令作为当前命令；

S3）模拟运行当前命令，得到当前命令的任务运行时间、生成文件大小、消耗网络流量；

S4）解析当前命令得到命令参数，从解析得到命令参数中通过主成分分析提取出主要特征参数自变量及其对应的权重；