[发明专利]一种参数配置方法和设备

权利要求书

1.一种参数配置方法，其特征在于，该方法包括：

确定接收到的快速通用的计算引擎SPARK数据清洗任务的数据量以及所述SPARK数据清洗任务对应的SPARK数据清洗程序中包含的至少一个原子操作；

根据基准参数数值、所述SPARK数据清洗任务的数据量以及所述SPARK数据清洗任务对应的SPARK数据清洗程序中包含的至少一个原子操作，确定所述SPARK数据清洗任务的基本资源配置参数；

其中，所述基准参数数值是在包括至少一个计算节点的限定集群环境下，根据基准数据和期望执行时间训练出的不同原子操作在所述基准数据下的基准参数数值。

2.如权利要求1所述的方法，其特征在于，所述确定所述SPARK数据清洗程序中包含的至少一个原子操作，包括：

对所述Spark数据清洗程序中的Spark数据清洗任务的代码进行通用化分析；

将分析的结果与预先配置的数据清洗领域的原子操作进行匹配；

根据匹配结果，确定所述SPARK数据清洗程序中包含的至少一个原子操作。

3.如权利要求1所述的方法，其特征在于，所述根据基准参数数值、所述SPARK数据清洗任务的数据量以及所述SPARK数据清洗程序中包含的至少一个原子操作，确定所述SPARK数据清洗任务的基本资源配置参数，包括：

根据所述基准参数数值以及所述SPARK数据清洗程序中包含的至少一个原子操作，确定所述SPARK数据清洗程序中包含的至少一个原子操作的基准参数数值；

根据所述所述SPARK数据清洗程序中包含的至少一个原子操作的基准参数数值，使用均值公式或最大值公式，确定所述SPARK数据清洗任务的基准参数数值；

根据所述基准数据、所述SPARK数据清洗任务的基准参数数值以及所述SPARK数据清洗任务的数据量，确定所述SPARK数据清洗任务的基本资源配置参数。

4.如权利要求3所述的方法，其特征在于，所述根据所述基准数据、所述SPARK数据清洗任务的基准参数数值以及所述SPARK数据清洗任务的数据量，确定所述SPARK数据清洗任务的基本资源配置参数，包括：

根据所述SPARK数据清洗任务的数据量和所述基准数据确定数据调整参数值；

根据所述数据调整参数值对所述SPARK数据清洗任务的基准参数数值进行调整，得到所述SPARK数据清洗任务的基本资源配置参数。

5.如权利要求1所述的方法，其特征在于，所述得到所述SPARK数据清洗任务的基本资源配置参数之后还包括，执行下列调整方式中的部分或全部：

调整方式1、根据所述SPARK数据清洗任务的数据量调整并行度参数值；

调整方式2、根据所述SPARK数据清洗任务的操作个数调整所述基本资源配置参数中的执行器内存参数值；

调整方式3、根据所述SPARK数据清洗任务的执行需求，调整所述基本资源配置参数中的执行器个数参数值。

6.如权利要求5所述的方法，其特征在于，所述根据所述SPARK数据清洗任务的数据量调整并行度参数值，包括：

根据所述SPARK数据清洗任务的数据量确定并行度参数值；

在每次利用所述并行度参数值对所述SPARK数据清洗任务的数据量进行处理之前，根据预设比例，增大所述并行度参数值。

7.如权利要求5所述的方法，其特征在于，所述根据所述SPARK数据清洗程序的原子操作个数调整所述基本资源配置参数中的执行器内存参数值，包括：

根据集群机器内存数量确定第一调整比例；

根据所述第一调整比例对设备中执行所述SPARK数据清洗任务能够使用的内存大小进行增大处理；

若增大后的执行所述SPARK数据清洗任务能够使用的内存未超过最大内存值，则采用增大后的内存值执行所述SPARK数据清洗任务；

若增大后的执行所述SPARK数据清洗任务能够使用的内存超过最大内存值，则采用最大内存值执行所述SPARK数据清洗任务。