[发明专利]任务告警方法、系统、设备及存储介质

说明书

本发明提供了一种任务告警方法、系统、设备及存储介质，该方法包括：从数据库中采集Zeus系统中的基线任务描述数据，确定基线任务和对应的截止时间；从数据库中采集Zeus系统中的任务信息表，确定基线任务的依赖任务，建立任务依赖关系表；根据所述基线任务的任务截止时间确定依赖任务的截止时间；根据执行中的基线任务和依赖任务的截止时间确定任务的告警状态。本发明从数据库中采集Zeus系统的元数据后定制基线，并建立任务的依赖关系和确定各个任务的截止时间，并根据截止时间确定任务的告警状态，从而实现基线管理项目任务的目标，为管理大量任务提供便利，并在任务执行时间异常时及时告警。

背景技术

Zeus(宙斯)是一种开源的分布式Hadoop(由Apache基金会所开发的分布式系统基础架构)作业调度平台，支持多机器的水平扩展。Zeus是一款完全分布式的调度系统，支持多机器的水平扩展，一台机器为一个节点，实现任务的分布式调度。目前支持的任务类型主要由hive脚本和shell脚本。

目前酒店数据团队90％以上的任务都是通过在Zeus系统上部署Hive或Shell脚本来完成。Zeus系统提供了对于单独每个任务的监控管理机制，但是其没有一个工作流或者项目的概念存在，而实际应用中每个项目可能拥有着成百上千个任务组成，这对于管理整个项目带来了不便。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种任务告警方法、系统、设备及存储介质，基于Zeus元数据定制基线，实现基线管理项目任务的目标，为管理大量任务提供便利。

本发明实施例提供一种任务告警方法，包括如下步骤：

从数据库中采集Zeus系统中的基线任务描述数据，确定基线任务和对应的截止时间；

从数据库中采集Zeus系统中的任务信息表，确定基线任务的依赖任务，建立任务依赖关系表；

根据所述基线任务的任务截止时间确定依赖任务的截止时间；

根据执行中的基线任务和依赖任务的截止时间确定任务的告警状态。

可选地，所述从数据库中采集Zeus系统中的基线任务描述数据之后，还包括根据所述基线任务描述数据确定所述基线任务对应的项目。

可选地，所述确定基线任务的依赖任务，建立任务依赖关系表，包括如下步骤：

从数据库中采集Zeus系统中的任务信息表，提取依赖任务信息；

分割所述依赖任务信息中单个依赖任务的信息，确定各个依赖任务；

从数据库中采集Zeus系统中的调度日志，确定依赖任务与基线任务的关联关系；

将依赖任务与基线任务关联，以基线任务为叶子节点逐层递归生成层级父子关系表，作为任务依赖关系表。

可选地，所述分割所述依赖任务信息中单个依赖任务的信息，包括如下步骤：

计算依赖任务信息的字段长度len1与依赖任务信息的值中逗号替换为空后的字段长度len2的差值n，作为所述依赖任务信息中逗号的个数，所述依赖任务信息中包括的依赖信息的数量为n+1；

将差值n关联一张自然数序列表，得到对应的父节点任务个数的行数；

根据每行数据的自然数序列值定位取依赖任务信息中对应的第i个逗号分隔符和i-1个逗号分隔符中的依赖任务ID，i∈(1，n)。

可选地，根据所述基线任务的任务截止时间确定依赖任务的截止时间，包括如下步骤：

从数据库中采集Zeus系统中的所述基线任务和所述依赖任务的历史执行数据；

根据所述历史执行数据计算所述基线任务和所述依赖任务的平均执行时长；