[发明专利]基于参数依赖推断执行流程的任务流并发调度方法及系统

说明书

本发明公开了一种基于参数依赖推断执行流程的任务流并发调度方法及系统，方法包括：预定义任务节点模块的输入输出参数；通过图形拖拽方式，将每个任务节点与其他任务节点连线，以构建输入输出参数具有依赖关系的任务流；按照预设的转换原则和转换程序，将任务流转换为预设格式的任务流文档；循环遍历执行任务流环节的全部任务节点；逐个启动任务进程，并检查任务进程的执行状态；若任一任务节点执行失败，则结束当前任务流环节。通过本发明的技术方案，简化了配置过程，提高流任务流定义的可移植性，且并发任务的数量能够适应执行容器的变化，能够提前对工作流结构的完整性进行检查，减少运行期间出错的可能性。

技术领域

本发明涉及模型开发技术领域，尤其涉及一种基于参数依赖推断执行流程的任务流并发调度方法以及一种基于参数依赖推断执行流程的任务流并发调度系统。

背景技术

目前，在AI-PaaS模型算法平台中，建模流程自动化模块向用户提供了以GUI方式构建任务流的功能。原有任务流构建的方式，是通过在执行过程间连接带箭头的连线，连线表明执行顺序，箭头指向的过程后执行，另一端的过程先执行。通过这样串行连接的方式将多个过程的执行顺序定义出来。

每一个执行过程，是一个启动进程的命令行，以及附加的参数。并指定其要运行的目标容器地址。在启动任务流的时候，将过程的命令行提交到对应的目标容器地址上，由目标容器中的代理服务按照命令行及参数启动进程，并跟踪其运行状态。

任务流定义中支持并发的模式，需要显式的拖入并发模块(Split)，将多个过程连接到该并发模块上，然后再加入合并模块(Join)用于等待并发任务的全部执行完毕，然后连接后续的动作。

上述的并发模式，是在配置的时候就固定了能够进行的并发数量和模式，并无法根据实际运行时的资源情况对并发的执行上进行调整。

另外，现有任务流调度中，没有明确的参数和数据传递定义，这导致执行过程之间，如果有数据传递，需要以内容耦合的方式来做，严重影响了模块的设计通用性和可移植性。

原有的任务流定义中，设定了每个过程节点的执行目标地址，这也限制了任务流定义的可移植性。

发明内容

针对上述问题，本发明提供了一种基于参数依赖推断执行流程的任务流并发调度方法及系统，通过预定义任务节点模块，采用可视化方式构建任务流，只需关注参数间的依赖关系而无需关注执行顺序，简化了配置过程，提高流任务流定义的可移植性，且并发任务的数量能够适应执行容器的变化，能够提前对工作流结构的完整性进行检查，减少运行期间出错的可能性。

为实现上述目的，本发明提供了一种基于参数依赖推断执行流程的任务流并发调度方法，包括：

预定义任务节点模块的输入输出参数；

通过基于可视化界面的图形拖拽方式，将每个任务节点与其他任务节点连线，以构建输入输出参数具有依赖关系的任务流；

按照预设的转换原则和转换程序，将所述任务流转换为预设格式的任务流文档；

基于所述任务流文档获取任务流配置，并循环遍历执行任务流环节的全部任务节点；

获取任务节点的数据、填充参数、连接目标容器，逐个启动任务进程，并检查任务进程的执行状态；

若任一任务节点执行失败，则结束当前任务流环节，若遍历整个任务流环节结束，则保存该任务流环节的状态。

在上述技术方案中，优选地，所述预定义任务节点模块的输入输出参数的过程具体包括：

以python代码方式定义所述任务节点模块，定义内容包括所述任务节点模块的描述性信息、所述任务节点模块的运行依赖信息以及所述任务节点模块的输入输出参数；