[发明专利]Spark运行参数的确定方法、装置、设备和存储介质

权利要求书

1.一种Spark运行参数的确定方法，其特征在于，包括：

获取第一运行参数集和第二运行参数集，所述第一运行参数集和所述第二运行参数集的获取方式不同；

基于所述第一运行参数集，将任务数据的数据大小和任务类型输入第一模型，根据第一输出结果确定所述第一模型中的目标模型，所述第一模型包括多个数据模型，所述第一模型为性能预测模型；

基于所述第二运行参数集，将所述数据大小和所述任务类型输入所述目标模型，根据第二输出结果确定Spark的目标运行参数；

所述基于所述第一运行参数集，将任务数据的数据大小和任务类型输入第一模型，根据第一输出结果确定所述第一模型中的目标模型，包括：

针对每个数据模型，基于所述第一运行参数集，将所述数据大小和所述任务类型输入所述数据模型，输出每组第一运行参数对应的预测运行时间；

根据所述每组第一运行参数对应的预测运行时间，确定所述多个数据模型中的目标模型；

所述基于所述第二运行参数集，将所述数据大小和所述任务类型输入所述目标模型，根据第二输出结果确定Spark的目标运行参数，包括：

基于所述第二运行参数集，将所述数据大小和所述任务类型输入所述目标模型，得到每组第二运行参数对应的预测运行时间；

将最短预测运行时间所对应的第二运行参数作为所述目标运行参数。

2.如权利要求1所述的方法，其特征在于，所述根据所述每组第一运行参数对应的预测运行时间，确定所述多个数据模型中的目标模型，包括：

针对每个数据模型，根据所述每组第一运行参数对应的预测运行时间，确定所述数据模型对应的决定系数；

将最大决定系数所对应的数据模型作为所述目标模型。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

将所述目标运行参数加入所述第一运行参数集中，并将所述目标运行参数和所述目标运行参数对应的预测运行时间存储至数据库。

4.如权利要求1所述的方法，其特征在于，在获取第一运行参数集之后，所述方法还包括：

采用预设的插值算法对所述第一运行参数集中的空值数据进行插值处理，得到处理后的第一运行参数集。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

若所述第一运行参数集中包括非数值型的运行参数，将所述非数值型的运行参数转换为数值型的运行参数。

6.一种Spark运行参数的确定装置，其特征在于，包括：

获取模块，用于获取第一运行参数集和第二运行参数集，所述第一运行参数集和所述第二运行参数集的获取方式不同；

第一确定模块，用于基于所述第一运行参数集，将任务数据的数据大小和任务类型输入第一模型，根据第一输出结果确定所述第一模型中的目标模型，所述第一模型包括多个数据模型，所述第一模型为性能预测模型；

第二确定模块，用于基于所述第二运行参数集，将所述数据大小和所述任务类型输入所述目标模型，根据第二输出结果确定Spark的目标运行参数；

所述第一确定模块，具体用于针对每个数据模型，基于所述第一运行参数集，将所述数据大小和所述任务类型输入所述数据模型，输出每组第一运行参数对应的预测运行时间；根据所述每组第一运行参数对应的预测运行时间，确定所述多个数据模型中的目标模型；

所述第二确定模块，具体用于基于所述第二运行参数集，将所述数据大小和所述任务类型输入所述目标模型，得到每组第二运行参数对应的预测运行时间；将最短预测运行时间所对应的第二运行参数作为所述目标运行参数。

7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。