[发明专利]一种工作流任务容器生成系统及方法

说明书

本发明涉及一种工作流任务容器生成系统及方法。该系统包括工作流注入模块以及工作流任务容器生成装置；工作流任务容器生成装置包括：工作流输入接口模块、工作流NameSpace生成模块、任务容器生成模块以及状态跟踪与资源监控模块；工作流输入接口模块分别与工作流注入模块、工作流NameSpace生成模块以及状态跟踪与资源监控模块连接；工作流NameSpace生成模块分别与任务容器生成模块以及所述状态跟踪与资源监控模块连接；任务容器生成模块与所述状态跟踪与资源监控模块连接。本发明保证了容器化工作流任务调度顺序与工作流调度算法任务执行顺序的一致性，有效降低了容器化工作流总执行时间，提高了工作流的执行效率。

技术领域

本发明涉及容器化工作流实现领域，特别是涉及一种工作流任务容器生成系统及方法

背景技术

工作流管理系统(Workflow Management System，WMS)使用调度算法约束工作流任务的执行顺序来提升性能和效率。目前一部分WMS已经提供了使用容器的操作，但是，将WMS调度算法和容器调度算法结合起来，还没有一个规范和标准。

工作流调度算法在任务先后依赖关系和执行顺序上是强约束的。而容器调度原生并不适用于工作流管理系统。在工作流任务先后依赖关系上，容器调度算法并不考虑任务容器的上下文，既容器调度算法不知道哪些任务依赖于某个容器内任务，或者这个任务本身依赖于其他容器内的任务。在执行顺序上，容器调度算法一般没有严格的先后顺序，而工作流调度算法通常会将工作流任务排序执行。随着云原生时代的到来，容器化工作流调度将是WMS拥抱云原生的最佳实践方法，也是提高工作流执行效率的有效途径。容器调度与工作流调度的结合势必会在工作流执行时间、资源利用率等方面产生巨大的影响和变革。

容器调度是大规模集群资源调度的有效方案，实现业务容器到集群Node节点的打散调度，这是调度算法综合打分的结果。所以容器调度算法不关注任务的先后依赖(上下文)关系和执行顺序。工作流任务提交的顺序和容器调度顺序的不一致，使得容器调度算法成为一种不可预测和不可靠的任务排序方法。

发明内容

本发明的目的是提供一种工作流任务容器生成系统及方法，保证了容器化工作流任务调度顺序与工作流调度算法任务执行顺序的一致性，为WMS调度算法和容器调度算法结合提供了一种有效接口和最佳实践，有效降低工作流总执行时间，提高了工作流的执行效率。

为实现上述目的，本发明提供了如下方案：

一种工作流任务容器生成系统，包括：工作流注入模块以及工作流任务容器生成装置；

所述工作流注入模块负责有执行顺序的工作流任务容器生成请求的产生，并按照依赖关系以gRPC通信方式依次注入所述工作流任务容器生成装置；

所述工作流任务容器生成装置包括：工作流输入接口模块、工作流NameSpace生成模块、任务容器生成模块以及状态跟踪与资源监控模块；

所述工作流输入接口模块分别与所述工作流注入模块、所述工作流NameSpace生成模块以及所述状态跟踪与资源监控模块连接；所述工作流输入接口模块用于接收所述工作流的任务容器生成请求以及所述状态跟踪与资源监控模块反馈的任务容器的状态；

所述工作流NameSpace生成模块分别与所述任务容器生成模块以及所述状态跟踪与资源监控模块连接；所述工作流NameSpace生成模块用于根据所述工作流的任务容器生成请求以及所述状态跟踪与资源监控模块反馈的任务容器的状态创建相应的工作流NameSpace；

所述任务容器生成模块与所述状态跟踪与资源监控模块连接；所述任务容器生成模块用于根据所述工作流NameSpace生成对应的任务容器；