[发明专利]一种作业提交及监控系统

说明书

本申请公开了一种作业提交及监控系统，该系统包括：注册模块、调度模块和守护模块；注册模块用于根据作业注册信息更新作业任务表；调度模块用于生成作业执行计划表，并根据作业执行计划表向大数据处理系统提交作业；守护模块用于监控大数据处理系统中的作业完成状态，并向大数据处理系统重提作业完成状态异常的作业；当重提失败时发送告警消息。由上可知，本申请提供的系统，调度模块根据注册模块提供的作业任务表可以自动向大数据处理系统提交作业，节省了人力资源同时也提高了作业提交的准确率。同时，守护模块可以自动监控大数据处理系统中作业的完成状态，并进行作业重提。如此，满足了企业用户的监控需求，提高了企业用户的使用体验。

技术领域

本申请涉及通信领域，尤其涉及一种作业提交及监控系统。

背景技术

目前，对大数据处理系统的作业提交和监控主要依靠大数据处理系统本身提供的控制台。但通过大数据处理系统提供的控制台进行作业提交时，需要人工对作业进行提交，耗费了大量的人力资源且容易出错。此外，大数据处理系统提供的控制台提供的监控功能有限，且不能和企业级运维工具进行连接，很难满足企业用户对于监控作业完成状况的需求。因此，如何提供一种节省人力资源且能满足企业用户需求的系统已经成为本领域急需解决的问题。

发明内容

为了解决上述技术问题，本申请提供了一种作业提交及监控系统，用于向大数据处理系统提交作业和监控大数据处理系统中作业完成情况。

为了实现上述目的，本申请实施例提供的技术方案如下：

本申请实施例提供一种作业提交及监控系统，所述系统分别与大数据处理系统和企业级运维工具连接，所述系统包括：注册模块、调度模块和守护模块；所述注册模块分别与所述调度模块和所述守护模块连接；

所述注册模块，用于根据作业注册信息更新作业任务表；所述作业注册信息包括作业的重要等级；

所述调度模块，用于根据所述作业任务表生成作业执行计划表，并根据所述作业执行计划表向所述大数据处理系统提交作业；

所述守护模块，用于监控所述大数据处理系统中的作业完成状态，并向所述大数据处理系统重提所述作业完成状态异常的作业；当重提失败时，向所述企业级运维工具发送告警消息。

可选地，所述系统部署于网关服务器，所述调度模块，具体用于根据所述作业任务表生成作业执行计划表，并根据所述作业执行计划表通过所述网关服务器接口向所述大数据处理系统提交作业；

所述守护模块，具体用于通过所述网关服务器接口监控所述大数据处理系统中的作业完成状态，并向所述大数据处理系统重提所述作业完成状态异常的作业；当重提失败时，向所述企业级运维工具发送告警消息。

可选地，所述系统部署于网关服务器，所述守护模块，具体用于监控所述大数据处理系统中的作业完成状态，并向所述大数据处理系统重提所述作业完成状态异常的作业；当重提失败时，通过所述网关服务器接口向所述企业级运维工具发送告警消息。

可选地，所述注册模块，包括：

作业生成单元，用于根据作业注册信息生成所述作业配置表；所述作业注册信息包括作业的重要等级；

作业配置单元，用于根据所述作业配置表的作业的重要等级和作业依赖关系更新所述作业任务表。

可选地，所述调度模块，包括：

作业状态存储单元，用于存储作业处理状态；所述作业处理状态包括作业已处理状态和待处理作业状态；

作业执行计划生成单元，用于根据所述作业处理状态和所述作业依赖关系生成作业执行计划表；

调度执行单元，用于根据所述作业执行计划表向所述大数据处理系统提交作业。