[发明专利]大数据组件参数调整方法、装置、电子设备及存储介质

权利要求书

1.一种大数据组件参数调整方法，其特征在于，包括：

实时监控目标组件的运行情况；所述目标组件为大数据组件中的任意一个组件；

根据所述目标组件的运行情况，调整所述目标组件所对应的多个目标参数；

根据调整后的多个目标参数，第一进程向资源管理器申请额外资源，并根据所述额外资源重新确定目标执行进程完成未完成的任务。

2.根据权利要求1所述的大数据组件参数调整方法，其特征在于，所述根据所述目标组件的运行情况，调整所述目标组件所对应的多个目标参数，包括：

在所述目标组件为Spark组件，且所述Spark组件运行异常的情况下，根据运行时长与预设的超时阈值，确定出多个目标参数；

根据所述多个目标参数与多个目标阈值区间，调整所述多个目标参数。

3.根据权利要求2所述的大数据组件参数调整方法，其特征在于，所述根据所述多个目标参数与多个目标阈值区间，调整所述多个目标参数，包括：

在第一目标参数属于第一目标阈值区间的情况下，调整所述第一目标参数；

在所述第一目标参数不属于第一目标阈值区间的情况下，调整所述第一目标参数为所述第一阈值区间中最接近所述第一目标参数的的临界值；

其中，所述第一目标参数为所述多个目标参数中的任意一个；所述第一目标阈值区间为所述多个目标阈值区间中的任意一个。

4.根据权利要求1所述的大数据组件参数调整方法，其特征在于，所述根据调整后的多个目标参数，第一进程向资源管理器申请额外资源，并根据所述额外资源重新确定目标执行进程执行未完成的任务，包括：

在所述目标组件为Spark组件的情况下，所述第一进程向资源管理器申请额外资源；

所述第一进程在接收到所述资源管理器分配的额外资源后会启动目标执行进程，将未完成的任务分配给目标执行进程。

5.根据权利要求4所述的大数据组件参数调整方法，其特征在于，所述第一进程在接收到所述资源管理器分配的额外资源后会启动目标执行进程，将未完成的任务分配给目标执行进程，包括：

所述第一进程向已分配任务且未完成任务的多个执行进程申请撤回未完成任务；

将撤回的未完成任务重新分配给所述目标执行进程。

6.根据权利要求5所述的大数据组件参数调整方法，其特征在于，所述第一进程在接收到所述资源管理器分配的额外资源后会启动目标执行进程，将未完成的任务分配给目标执行进程，还包括：

在所述第一执行进程中的任务执行完毕的情况下，向所述目标进程报告完成消息，所述目标进程向所述资源管理器申请注销所述第一执行进程，并根据目标参数重新启动所述第一执行进程，执行新的任务；

其中，所述第一执行进程为所述多个执行进程中的任意一个。

7.根据权利要求1所述的大数据组件参数调整方法，其特征在于，所述实时监控目标组件的运行情况，包括：

将所述目标组件的参数获取方式修改为从监控软件代理中的节点中获取；

根据获取的参数确定所述目标组件的运行情况。

8.一种大数据组件参数调整装置，其特征在于，包括：

监控模块，用于实时监控目标组件的运行情况；所述目标组件为大数据组件中的任意一个组件；

调整模块，用于根据所述目标组件的运行情况，调整所述目标组件所对应的多个目标参数；

执行模块，用于根据调整后的多个目标参数，第一进程向资源管理器申请额外资源，并根据所述额外资源重新确定目标执行进程执行未完成的任务。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7中任一项所述大数据组件参数调整方法的步骤。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7中任一项所述大数据组件参数调整方法的步骤。