[发明专利]工作流依赖管理方法、装置、计算机设备及存储介质

说明书

本发明实施例公开了一种工作流依赖管理方法、装置、计算机设备及存储介质，涉及区块链领域。方法包括：判断待执行工作流是否包含预配置的依赖属性；若待执行工作流包含依赖属性，在预设的消息集群中订阅待执行工作流依赖的工作流的执行完成消息；判断是否接收到消息集群发送的待执行工作流依赖的工作流的执行完成消息；若接收到消息集群发送的待执行工作流依赖的工作流的执行完成消息，执行待执行工作流。通过在消息集群中订阅待执行工作流依赖的工作流的执行完成消息，实现实时监控待执行工作流依赖的工作流的执行情况，整个过程无需调度服务器介入，各工作流能够自动准确、高效有序的运行，减少了计算成本，还能有效降低出错率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种工作流依赖管理方法、装置、计算机设备及存储介质。

背景技术

一套完整的大数据服务平台内部的应用，通常都是由大量任务单元组成的。例如，shell脚本，java程序，mapreduce程序、hive脚本以及spark程序等，各任务单元之间存在时间先后及前后依赖关系，为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。

Azkaban是由Linkedin公司推出的一个开源分布式批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。现有技术中，需要单独设置调度服务器，由调度服务器统一调度各在工作流之间的执行顺序，各执行服务器只需等待调度服务器的处理指令。随着系统的复杂度提高，工作流变得越来越多，工作流之间的依赖关系及其复杂，调度服务器的计算量极其巨大，并且调度规则，需要人为配置，极易出错。

发明内容

本发明实施例提供了一种工作流依赖管理方法、装置、计算机设备及存储介质，旨在解决现有工作流调度方式计算量大且极易调度出错的问题。

第一方面，本发明实施例提供了一种工作流依赖管理方法，其包括：

判断待执行工作流是否包含预配置的依赖属性，所述依赖属性包含待执行工作流依赖的工作流的名称；

若所述待执行工作流包含依赖属性，在预设的消息集群中订阅所述待执行工作流依赖的工作流的执行完成消息；

判断是否接收到所述消息集群发送的所述待执行工作流依赖的工作流的执行完成消息；

若接收到所述消息集群发送的所述待执行工作流依赖的工作流的执行完成消息，执行所述待执行工作流。

第二方面，本发明实施例还提供了一种工作流依赖管理装置，其包括：

第一判断单元，用于判断待执行工作流是否包含预配置的依赖属性，所述依赖属性包含待执行工作流依赖的工作流的名称；

订阅单元，用于若所述待执行工作流包含依赖属性，在预设的消息集群中订阅所述待执行工作流依赖的工作流的执行完成消息；

第二判断单元，用于判断是否接收到所述消息集群发送的所述待执行工作流依赖的工作流的执行完成消息；

第一执行单元，用于若接收到所述消息集群发送的所述待执行工作流依赖的工作流的执行完成消息，执行所述待执行工作流

第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。