[发明专利]作业调度系统的作业监控方法、装置、介质及电子设备

说明书

本申请实施例公开了一种作业调度系统的作业监控方法、装置、介质及电子设备。本实施例涉及大数据技术领域。其中，该方法包括：若检测到作业执行单元被创建，则获取执行单元信息；若检测到作业流水线初始化，则获取作业流水线信息；作业执行过程中，通过预先埋入在作业调度系统中的作业关键路径的埋点，采用预先设置的监控数据获取规则获取作业的状态信息；将执行单元信息、作业流水线信息和状态信息进行聚合，并将聚合结果推送到监控数据库存储。本申请所提供的技术方案，解决了如果需要作业调度系统支持多种大数据框架，则需要分别开发和对接的技术问题，达到了通用有效地为作业监控系统进行作业监控的效果。

技术领域

本申请实施例涉及大数据技术领域，尤其涉及一种作业调度系统的作业监控方法、装置、介质及电子设备。

背景技术

随着互联网大数据平台的迅速发展，作业调度系统或工作流系统已经成为大部分大数据平台的重要组成部分。作业调度系统提供作业监控功能，用于监控作业运行实时状态，采集上报作业运行耗时、资源消耗等指标，为统计资源消耗和优化作业流水线提供支持。

现有技术中，通过对接大数据框架的相关服务，利用服务接口采集作业运行的实时状态，获取服务接口提供的指标。然而，对接大数据框架相关服务存在如下缺陷：如果需要采集定制化指标，则需要二次开发相关服务组件。另外，不同的大数据框架支持的服务接口具有差异性，如果需要作业调度系统支持多种大数据框架，则需要分别开发和对接。

发明内容

本申请实施例提供一种作业调度系统的作业监控方法、装置、介质及电子设备，解决了如果需要作业调度系统支持多种大数据框架，则需要分别开发和对接的技术问题，达到了通用有效地为作业监控系统进行作业监控的效果。

第一方面，本申请实施例提供了一种作业调度系统的作业监控方法，所述方法包括：

若检测到作业执行单元被创建，则获取所述执行单元信息；

若检测到作业流水线初始化，则获取作业流水线信息；

作业执行过程中，通过预先埋入在作业调度系统中的作业关键路径的埋点，采用预先设置的监控数据获取规则获取作业的状态信息；

将所述执行单元信息、作业流水线信息和状态信息进行聚合，并将聚合结果推送到监控数据库存储。

第二方面，本申请实施例提供了一种作业调度系统的作业监控装置，所述装置包括：

执行单元信息获取模块，用于若检测到作业执行单元被创建，则获取所述执行单元信息；

作业流水线信息获取模块，用于若检测到作业流水线初始化，则获取作业流水线信息；

状态信息获取模块，用于作业执行过程中，通过预先埋入在作业调度系统中的作业关键路径的埋点，采用预先设置的监控数据获取规则获取作业的状态信息；

聚合存储模块，用于将所述执行单元信息、作业流水线信息和状态信息进行聚合，并将聚合结果推送到监控数据库存储。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的作业调度系统的作业监控方法。

第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的作业调度系统的作业监控方法。