[发明专利]一种有向无环图式自动任务流的通用描述语言数据系统

说明书

本发明提供一种有向无环图式自动任务流的通用描述语言数据系统，包括：Step定义层，Workflow定义层和Template定义层；Step层为单个任务的描述，针对一个docker镜像或其他执行器的输入输出声明，需要具体声明每个输入输出项的名称，类型，文档，参数等信息；Workflow层为一个或多个Step组成的工作流，需要定义这些Step的依赖拓扑，还可以定义共享参数；Template层在一个Workflow定义的基础上，模板进行参数的预设置，以及补充参数的说明、检查器或数据源定义。本发明数据中心与任务执行工具进行使用，需要使用编程语言实现对应工具。数据中心需要能够存储每个定义文档，并且通过引用链接索引到对应的文档，解释器需要读取所有定义内容，并根据引用链接将对应数据赋值到定义结构中。

技术领域

本发明属于云计算领域，特别涉及一种有向无环图式自动任务流的通用描述语言数据系统。

背景技术

现今科学计算领域中专业细分化趋势明显，细化的解决问题算法的发展与实际价值导向的工程运用已分化为发展的两个方向。如何结合运用细分的专业方法完成目标成为了一个必不可少的需求，越来越小的方法粒度也使得了解大量方法的学习成本与使其结合的人工成本越来越高，自动化的工作流这一技术也在各个领域得以广泛应用。在科学计算领域：美国的SBG（Seven Bridges Genomics）公司开发的SBP（Seven Bridge Platform）被视作为公司核心技术，它集成了算法，数据托管，计算资源于一体，通过可视化的界面构建出灵活的基因组数据分析流程并执行计算；在开源界也有通用化的任务流描述语言标准CWL（Common Workflow Language），主要针对于数据密集型科学计算，通过文本格式的任务流描述与命令行工具串联不同的任务执行，主流的云计算资源提供商如AWS、Google，AliCloud，计算标准如HPC，Spark等均为CWL提供了支持。

对于任务流描述语言，核心功能有两点：定义具体任务与定义任务间流转。通过定义具体的任务来描述任务的输入输出与执行方式，通过定义任务间流转来定义任务执行的顺序与数据流转的路径，这些核心信息提供给具体的任务流引擎进行解析，就可以完成任务流的自动化执行。

对于封闭式的任务流平台，他缺乏开放性与易用性，仅可以使用内部已提供的算法任务进行编排，难以满足快速发展的计算需求，并且无法接入灵活的计算资源，故我们主要关注与通用的任务流描述语言。

对于现有的通用描述语言来说，主要有以下缺陷：

1、任务描述粒度粗糙：

现有的通用描述语言的单个任务描述粒度十分粗糙，用户需要定义输入的参数组以及获取方式，但语言并不涉及数据的类型与细节结构，使得用户在使用时需要深度了解任务的具体特性，在提供了错误的数据类型、结构是也无法提供数据检查与校验。

2、计算机领域知识门槛高，不便非计算机专业人员编排：

现有的通用描述语言与计算机编程技术紧密耦合，暴露出了大量的底层细节与计算机专有名词，用户需要拥有一定的计算机领域知识才能进行编写。不能满足算法编写人员（计算机工程师）与算法使用人员（科学家）同时使用的需求。

3、信息庞杂，缺乏数据复用

现有的通用描述语言在应用于高性能科学计算时，由于其通用性，需要定义大量的科学计算领域特点所带来的参数，并且参数需要反复重复输入，没有数据模板与数据覆盖填充能力

4、缺乏自动并行源语

在科学计算领域，由于庞大的计算需求，并行是一种不可或缺的能力。现有的通用描述语言缺乏类似map-reduce或scatter-gather的并行描述原语，无法提供对于单点任务自动并行的功能。

发明内容