[发明专利]大数据组件参数调整方法、装置、电子设备及存储介质

说明书

本发明提供一种大数据组件参数调整方法、装置、电子设备及介质，所述方法包括：实时监控目标组件的运行情况，所述目标组件为大数据组件中的任意一个组件，根据所述目标组件的运行情况，调整所述目标组件所对应的多个目标参数，根据调整后的多个目标参数，第一进程向资源管理器申请额外资源，并根据所述额外资源重新确定目标执行进程执行未完成的任务。本发明提供的大数据组件参数调整方法能够根据生产环境自适应的调整参数，实现组件参数的动态调整，降低人工成本，提升用户体验。

技术领域

本发明涉及运维数据处理技术领域，尤其涉及一种大数据组件参数调整方法、装置、电子设备及存储介质。

背景技术

随着大数据生态体系的不断发展完善，越来越多的大数据组件被陆续的发布和应用。

目前，大数据组件已经逐渐地被应用到生产环境中，在功能不断丰富完善的情况下，整个的大数据系统变得越来越复杂。由于大数据组件中的组件数据量非常庞大，对于应用于生产环境中的大数据组件参数进行优化处理，且保证系统的正常运行是非常困难的。

现有技术中，对于大数据组件参数的调整优化处理需要人工操作的方式，需要大量的运维工作人员，工作量比较大，且运维难度比较大，不够及时导致用户体验较差。

发明内容

本发明提供一种大数据组件参数调整方法、装置、电子设备及介质用以解决现有技术中人工调整组件参数不够及时导致用户体验差，人工成本较高的技术问题，本发明实现自适应调整组件参数、降低人力成本提升用户体验的目的。

第一方面，本发明提供一种大数据组件参数调整方法，包括：

实时监控目标组件的运行情况；所述目标组件为大数据组件中的任意一个组件；

根据所述目标组件的运行情况，调整所述目标组件所对应的多个目标参数；

根据调整后的多个目标参数，第一进程向资源管理器申请额外资源，并根据所述额外资源重新确定目标执行进程完成未完成的任务。

进一步，根据本发明提供的大数据组件参数调整方法，根据所述目标组件的运行情况，调整所述目标组件所对应的多个目标参数，包括：

在所述目标组件为Spark组件，且所述Spark组件运行异常的情况下，根据运行时长与预设的超时阈值，确定出多个目标参数；

根据所述多个目标参数与多个目标阈值区间，调整所述多个目标参数。

进一步，根据本发明提供的大数据组件参数调整方法，所述根据所述多个目标参数与多个目标阈值区间，调整所述多个目标参数，包括：

在第一目标参数属于第一目标阈值区间的情况下，调整所述第一目标参数；

在所述第一目标参数不属于第一目标阈值区间的情况下，调整所述第一目标参数为所述第一阈值区间中最接近所述第一目标参数的的临界值；

其中，所述第一目标参数为所述多个目标参数中的任意一个；所述第一目标阈值区间为所述多个目标阈值区间中的任意一个。

进一步，根据本发明提供的大数据组件参数调整方法，所述根据调整后的多个目标参数，第一进程向资源管理器申请额外资源，并根据所述额外资源重新确定目标执行进程执行未完成的任务，包括：

在所述目标组件为Spark组件的情况下，所述第一进程向资源管理器申请额外资源；

所述第一进程在接收到所述资源管理器分配的额外资源后会启动目标执行进程，将未完成的任务分配给目标执行进程。

进一步，根据本发明提供的大数据组件参数调整方法，所述第一进程在接收到所述资源管理器分配的额外资源后会启动目标执行进程，将未完成的任务分配给目标执行进程，包括：