[发明专利]一种参数配置方法、装置、设备及可读存储介质

说明书

本申请公开了一种参数配置方法、装置、设备及可读存储介质。该方法包括：响应于参数推荐操作，获取目标配置参数集合的至少一组候选取值，并基于目标应用中包含的SQL语句，得到目标代价的代价取值，其中，目标代价用于表征目标应用的数据集规模和SQL逻辑；针对至少一组候选取值中的任意一组候选取值，将任意一组候选取值和代价取值，输入至训练后的参数推荐模型中，得到任意一组候选取值对应的预测性能值，基于得到的至少一个预测性能值和至少一组候选取值，确定目标配置参数的目标取值。这样，通过参数推荐模型进行参数配置，提高了参数配置效率和准确率，同时提升了应用计算性能。

技术领域

本申请涉及大数据技术领域，特别涉及一种参数配置方法、装置、设备及可读存储介质。

背景技术

随着大数据时代的到来，大数据处理技术不断发展，同时也产生了多种大数据处理平台，Spark是其中典型代表。Spark是一种基于内存计算的分布式大数据并行处理平台，而参数配置会直接影响Spark的作业性能。

目前，基于Spark开发的应用（简称为Spark应用）的参数配置通常依赖于人工配置，然后通过Spark应用运行时的实际负载进行参数调整。

然而，现有的参数配置方式通常采用人工配置，存在配置效率低、需要多次运行调整参数以及由此造成的大量占用系统资源的问题，此外，人工配置也容易造成Spark平台操作复杂性高、稳定性差的问题。

发明内容

本申请实施例提供一种参数配置方法、装置、设备及可读存储介质，用以解决现有技术中参数配置效率低的问题。

第一方面，本申请实施例提供了一种参数配置方法，所述方法包括：

响应于参数推荐操作，获取目标应用的目标配置参数集合的至少一组候选取值，并基于所述目标应用中包含的结构化查询语句SQL语句，得到所述目标应用的目标代价的代价取值，其中，目标代价用于表征所述目标应用的数据集规模和SQL逻辑；

针对所述至少一组候选取值中的任意一组候选取值，将所述任意一组候选取值和所述代价取值，输入至训练后的参数推荐模型中，得到所述任意一组候选取值对应的预测性能值；其中，所述参数推荐模型是基于所述目标应用的历史运行记录训练得到的；

基于得到的至少一个预测性能值和所述至少一组候选取值，确定所述目标配置参数的目标取值。

可选的，所述响应于参数推荐操作，获取目标应用的目标配置参数集合的至少一组候选取值，并基于所述目标应用中包含的SQL，得到所述目标应用的目标代价的代价取值之前，还包括：

基于所述目标应用的历史运行状态信息，确定所述目标应用的目标配置参数集合；

基于预设的SQL语句，确定所述目标应用的目标代价；

从所述目标应用的历史运行记录中，提取出所述目标配置参数集合的历史取值和所述目标代价的历史取值，作为训练数据集；

基于所述训练数据集，对所述初始参数推荐模型进行训练，得到训练后的参数推荐模型。

可选的，所述基于所述目标应用的历史运行状态信息，确定所述目标应用的目标配置参数集合，具体包括：

若所述历史运行状态信息中包含所述目标应用中各个候选参数的使用频率，则基于所述各个候选参数的使用频率，从所述各个候选参数中，选取出目标配置参数，其中，所述目标配置参数用于表征使用频率达到预设的次数阈值的候选参数；

基于选取出的各个目标配置参数，得到目标应用的目标配置参数集合。

可选的，所述基于预设的SQL语句，确定所述目标应用的目标代价，具体包括：

采用预设的代价算法，对所述预设的SQL语句进行代价计算，得到预设的SQL语句中包含的各个算子的代价；