[发明专利]一种流程编排服务调度和发布方法

权利要求书

1.一种流程编排服务调度和发布方法，其特征在于,其实现基于流程编排组件、服务调度组件、服务发布组件、规则调度组件；

所述流程编排组件提供可视化的流程编排，并生成流程配置描述文件，

所述服务调度组件基于Airflow平台提供服务，将所述流程编排组件生成的流程配置描述文件，提交给Airflow平台解析，生成任务运行数据并持久化到服务调度数据库，

所述服务发布组件读取服务调度数据库中任务运行数据的数据模型，向外部提供发布和更新数据模型的计算服务，

所述规则调度组件使用时间规则和数据规则，对服务调度和服务发布建立触发条件，并在触发条件时，进行编排流程的自动化运行和计算服务的更新。

2.根据权利要求1所述的一种流程编排服务调度和发布方法，其特征在于，所述流程编排组件提供可视化的流程编排，并生成流程配置描述文件，这一过程具体包括：

S1.1：创建流程编排任务，定义数据集的来源，数据集的来源包括可接收的文件类型和远程数据库连接查询数据；

S1.2：由数据集的来源获取的数据称为原始数据，对原始数据进行数据过滤的预处理操作；

S1.3：根据业务需求，使用预置的模型算法进行流程编排，形成有向无环图，生成流程配置描述文件。

3.根据权利要求1所述的一种流程编排服务调度和发布方法，其特征在于，所述服务调度组件使用多节点集群模式部署，分为Master节点和多个Worker节点，Master节点和多个Worker节点运行Airflow平台。

4.根据权利要求3所述的一种流程编排服务调度和发布方法，其特征在于，所述服务调度组件将流程配置描述文件提交给Airflow平台解析执行，并生成任务运行数据持久化到服务调度数据库，这一过程的具体操作包括：

S2.1：Airflow平台接收所述流程编排组件生成的流程配置描述文件，并对流程配置描述文件进行解析，解析结果包含多个计算任务，根据计算任务的类型生成相应类型的执行器，

S2.2：Master节点查询Worker节点的运行状态，Airflow根据查询到的Worker节点运行状态将一个编排中的全部计算任务发送到一个单独的Worker节点，由Worker节点开启线程，使用相应类型的执行器来执行计算任务，

S2.3：Airflow平台识别解析执行器，并根据输入数据集的来源读取业务数据，按照依赖关系实现计算任务的执行，Master节点监控计算任务的执行状态，对每个计算任务生成任务运行数据；

S2.4：将各种运行数据发送到消息队列，持久化到服务调度数据库，并发送到消息队列。

5.根据权利要求4所述的一种流程编排服务调度和发布方法，其特征在于，所述任务运行数据包括任务实例运行状态、任务实例运行日志、任务实例输出的数据模型。

6.根据权利要求5所述的一种流程编排服务调度和发布方法，其特征在于，所述服务发布组件基于Docker容器的方式，Docker容器镜像集成Web Server环境，每个Docker容器运行独立的数据服务，并由Kubernetes进行管理；

所述服务发布组件按照以下流程执行计算服务的发布和更新：

S3.1：根据任务运行数据的数据模型运行参数制作Dockerfile，Docker容器根据Dockerfile生成Docker镜像，

S3.2：将Docker镜像上传到Harbor镜像仓库，

S3.3：Kubernetes根据任务运行数据的数据模型配置文件和命令脚本对Docker镜像创建pod，并进行服务发现，返回调用相应服务的API，

S3.4：当所述服务调度组件对一个流程进行更新后，计算后生成新的任务运行数据，在服务发布时，获取Harbor镜像仓库中相同Docker镜像的tag，删除Harbor镜像仓库中已有Docker镜像，并为新建的Docker镜像分配tag，替换原有Docker镜像的版本。