[发明专利]一种支持复杂工作流结构的工作流管理系统

说明书

本发明涉及一种支持复杂工作流结构的工作流管理系统，包括工作流定义模块用于接收用户定义的工作流；工作流包括至少一个任务以及各个任务之间的依赖关系，任务包括任务内容和任务类型，任务类型包括原子类型以及控制类型；数据库用于存储工作流定义模块接收的工作流；任务关口模块用于从数据库中获取需要执行的任务作为待执行任务；系统通过工作流定义模块接收用户的工作流定义后，提取任务定义存入数据库；任务关口模块从数据库中获取任务，当待执行任务的任务类型为原子类型时，将任务提交计算节点执行；当待执行任务的任务类型为控制类型时，添加新任务至数据库和/或设置任务的执行状态。该系统可支持复杂的控制结构，支持灵活的工作流模式。

技术领域

本发明涉及工作流管理技术领域，更具体地，涉及一种支持复杂工作流结构的工作流管理系统。

背景技术

科学工作流管理系统，为科学计算提供了工作流定义、流程管理和任务并行执行等支持，是实现复杂科学应用的关键技术。它们能够捕获数据分析和仿真管道中处理步骤之间的相互依赖关系。以及提供在分布式计算环境中可靠高效地执行这些步骤的机制。

科学工作流管理系统使用户(包括非计算机专业的用户)能够更加轻松地表达多步计算任务。在大多数情况下，工作流被表达成一个DAG(Directed acyclic graph，有向无环图)，其中每个节点代表一个计算任务，连接两个节点的一条有向边代表两个计算任务之间的依赖关系。基于DAG的科学工作流管理系统，只能根据任务间的依赖关系逐渐完成任务的执行，不能支持更加复杂的控制结构如循环和分支，这将限制用户表达复杂的计算过程的能力。

发明内容

本发明旨在克服上述现有技术的至少一种缺陷(不足)，提供一种支持复杂工作流结构的工作流管理系统，能够支持复杂的控制结构，支持更加灵活的工作流模式。

本发明采取的技术方案是：

一种支持复杂工作流结构的工作流管理系统，包括工作流定义模块，用于接收用户定义的工作流并上传至数据库；所述工作流包括至少一个任务以及各个所述任务之间的依赖关系，每个所述任务包括任务内容和任务类型，所述任务类型包括原子类型以及控制类型；数据库，用于存储所述工作流定义模块上传的所述工作流以及各个所述任务的执行状态；任务关口模块，用于根据所述依赖关系从数据库中获取需要执行的所述任务作为待执行任务；当所述待执行任务的任务类型为原子类型时，将所述待执行任务提交执行；当所述执行任务的任务类型为控制类型时，添加新任务至数据库和/或设置任务的执行状态。

系统通过工作流定义模块接收用户定义的工作流定义后，提取其中的任务定义，并存入数据库中，任务关口模块从数据库中获取任务，根据依赖关系获取需要执行的任务作为待执行任务，并根据任务的不同类型作出不同处理，当所述待执行任务的任务类型为原子类型时，将所述任务提交执行；当所述待执行任务的任务类型为控制类型时，控制其它任务为待执行任务。通过对任务分类为原子类型和控制类型，可以实现复杂的控制结构，对于复杂的工作流结构也可以实现高效的控制。

进一步地，当所述任务的所述任务类型为原子类型时，所述任务的内容包括可执行的任务，任务关口模块将原子类型定义的相关参数和对象直接转化为脚本，并作为作业提交到计算节点上执行任务。

进一步地，所述工作流管理系统还包括文件传输模块，当所述任务的任务类型为原子类型，且需要输入文件和/或输出文件时，所述任务的任务内容还包括输入文件信息和/或输出文件信息；所述文件传输模块，用于当所述任务类型为原子类型的所述待执行任务需要输入文件和/或输出文件时，根据所述输入文件信息传输所述输入文件和/或根据所述输出文件信息传输所述输出文件。

进一步地，所述控制类型包括循环类型和/或分支类型。