[发明专利]分布式工作流调度方法、装置、存储介质及电子设备

说明书

本公开涉及一种分布式工作流调度方法、装置、存储介质及电子设备，所述方法包括：获取触发事件，所述触发事件用于触发执行目标任务；向目标依赖检查模块发送所述触发事件，以由所述目标依赖检查模块根据任务依赖图确定所述目标任务对应的依赖任务，并根据所述依赖任务确定所述目标任务是否满足执行条件，所述任务依赖图中包括分布式工作流中的所有任务以及所述任务之间的依赖关系，所述目标任务为所述分布式工作流中的任一任务；在接收到指示所述目标任务满足执行条件的确认消息的情况下，确定用于执行所述目标任务的目标执行模块；向所述目标执行模块发送所述目标任务，以由所述目标执行模块执行所述目标任务，以提高调度方法的调度效率。

技术领域

本公开涉及工作流领域，具体地，涉及一种分布式工作流调度方法、装置、存储介质及电子设备。

背景技术

为了确保数据的集成、开发、展示、报表等任务的高效、稳定运行，对调度系统的延迟、吞吐量、功能完备性有很高的要求。随着任务量的不断增长，对应的调度延迟也不断加大且无法应对复杂依赖管理，使得任务的调度方案越来越复杂，难以满足大数据场景下的复杂回溯以及跨部门协作的需求。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种分布式工作流调度方法，所述方法包括：

获取触发事件，所述触发事件用于触发执行目标任务；

向目标依赖检查模块发送所述触发事件，以由所述目标依赖检查模块根据任务依赖图确定所述目标任务对应的依赖任务，并根据所述依赖任务确定所述目标任务是否满足执行条件，其中，所述任务依赖图中包括分布式工作流中的所有任务以及所述任务之间的依赖关系，所述目标任务为所述分布式工作流中的任一任务；

在接收到指示所述目标任务满足执行条件的确认消息的情况下，确定用于执行所述目标任务的目标执行模块；

向所述目标执行模块发送所述目标任务，以由所述目标执行模块执行所述目标任务。

第二方面，本公开提供一种分布式工作流调度方法，所述方法包括：

在接收到触发事件的情况下，根据任务依赖图确定目标任务对应的依赖任务，其中，所述触发事件用于触发执行所述目标任务，所述任务依赖图中包括分布式工作流中的所有任务以及所述任务之间的依赖关系，所述目标任务为所述分布式工作流中的任一任务；

根据所述依赖任务确定所述目标任务是否满足执行条件；

在确定所述目标任务满足执行条件的情况下，向控制器发送指示所述目标任务满足执行条件的确认消息。

第三方面，本公开提供一种分布式工作流调度装置，所述装置包括：

获取模块，用于获取触发事件，所述触发事件用于触发执行目标任务；

第一发送模块，用于向目标依赖检查模块发送所述触发事件，以由所述目标依赖检查模块根据任务依赖图确定所述目标任务对应的依赖任务，并根据所述依赖任务确定所述目标任务是否满足执行条件，其中，所述任务依赖图中包括分布式工作流中的所有任务以及所述任务之间的依赖关系，所述目标任务为所述分布式工作流中的任一任务；

第一确定模块，用于在接收到指示所述目标任务满足执行条件的确认消息的情况下，确定用于执行所述目标任务的目标执行模块；

第二发送模块，用于向所述目标执行模块发送所述目标任务，以由所述目标执行模块执行所述目标任务。

第四方面，提供一种分布式工作流调度装置，所述装置包括：