[发明专利]大数据集群处理方法和系统、电子设备和存储介质

说明书

本发明提供一种大数据集群处理方法和系统、电子设备和存储介质，其中所述大数据集群处理方法包括：对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。本发明通过定义定时任务脚本，然后在指定大数据集群下创建任务执行计划，并将该脚本添加到任务执行计划中，根据执行计划定时将该脚本推送到集群下的主机中运行，极大地提高了大数据集群运维工作的效率，节省了运维成本。

技术领域

本发明涉及计算机技术领域，尤其涉及一种大数据集群处理方法和系统、电子设备和存储介质。

背景技术

大数据集群是指实现对大数据从数据获取、数据存储和数据分析的集群。目前，不同的大数据集群通过各自独立的管理系统进行管理。大数据集群运维人员在管理大数据集群时，经常需要在集群下的主机中配置定时任务，执行诸如进程状态收集、数据统计等任务，每次设置、修改和删除定时任务时，都需要在每一台主机上编写任务脚本、配置crontab。

现有技术在大数据集群规模较大时，管理计划任务的时间成本急剧上升，并且不利于查看任务执行状态和收集任务结果。

发明内容

本发明提供一种大数据集群处理方法和系统、电子设备和存储介质，用以解决现有技术中存在的技术缺陷。

本发明提供一种大数据集群处理方法，包括：

对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；

在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；

基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。

根据本发明提供的一种大数据集群处理方法，所述方法还包括以下任一或其组合：

对所述第一定时任务脚本、第一任务执行计划分别进行修改，基于修改后的第一任务执行计划，定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中；

对所述第一定时任务脚本、第一任务执行计划分别进行更新，生成第二定时任务脚本、第二任务执行计划；基于所述第二任务执行计划，定时将所述第二定时任务脚本推送到大数据集群下的主机中；

删除所述第一定时任务脚本及第一任务执行计划，并将删除的内容推送到大数据集群下的主机中。

根据本发明提供的一种大数据集群处理方法，所述定时将所述第一定时任务脚本推送到大数据集群下的主机中或定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中之后，所述方法还包括：

对所述第一任务执行计划的状态进行监控，并将所述第一任务执行计划的状态上报给所述大数据集群对应的服务器端；

所述定时将所述第二定时任务脚本推送到大数据集群下的主机中之后包括：

对所述第二任务执行计划的状态进行监控，并将所述第二任务执行计划的状态上报给所述大数据集群对应的服务器端。

根据本发明提供的一种大数据集群处理方法，所述基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中之后，所述方法还包括：

收集由所述大数据集群下的主机反馈的任务运行结果，并将所述任务运行结果上报给所述大数据集群对应的服务器端。

本发明还提供了一种大数据集群处理系统，包括：

脚本定义模块，用于对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；