[发明专利]一种流程编排服务调度和发布方法

说明书

本发明公开一种流程编排服务调度和发布方法，涉及流程编排技术领域，其实现基于流程编排组件、服务调度组件、服务发布组件、规则调度组件。流程编排组件提供可视化的流程编排，并生成流程配置描述文件；服务调度组件基于Airflow平台提供服务，将流程配置描述文件提交给Airflow平台解析，生成任务运行数据；服务发布组件读取任务运行数据的数据模型，向外部提供发布和更新数据模型的计算服务；规则调度组件使用时间规则和数据规则，对服务调度和服务发布建立触发条件，并在触发条件时，进行编排流程的自动化运行和计算服务的更新。本发明可以快速发布和更新计算服务，实现编排流程的自动化运行和计算服务的更新，为数据分析和决策做支撑。

技术领域

本发明涉及数据编排技术领域，具体的说是一种流程编排服务调度和发布方法。

背景技术

如今数据的生产量和变化速度非常大，对业务数据进行建模分析时，产生的指标对制定决策具有指导意义。数据进行编排分析过程中，需要用到多种处理手段，编排流程任务的计算和服务发布是重要环节，一般任务由手动设定执行，对于新增的原始数据，不能实时地进行计算和更新模型服务。

基于此，为了进行高效的数据计算和灵活的发布规则，实现编排流程的自动化运行和计算服务的更新，产出最新的结果数据，为数据分析和决策做支撑，设计研发一种流程编排服务调度和发布方法。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种流程编排服务调度和发布方法。

本发明的一种流程编排服务调度和发布方法，解决上述技术问题采用的技术方案如下：

一种流程编排服务调度和发布方法，其实现基于流程编排组件、服务调度组件、服务发布组件、规则调度组件；

流程编排组件提供可视化的流程编排，并生成流程配置描述文件，

服务调度组件基于Airflow平台提供服务，将流程编排组件生成的流程配置描述文件，提交给Airflow平台解析，生成任务运行数据并持久化到服务调度数据库，

服务发布组件读取服务调度数据库中任务运行数据的数据模型，向外部提供发布和更新数据模型的计算服务，

规则调度组件使用时间规则和数据规则，对服务调度和服务发布建立触发条件，并在触发条件时，进行编排流程的自动化运行和计算服务的更新。

可选的，所涉及流程编排组件提供可视化的流程编排，并生成流程配置描述文件，这一过程具体包括：

S1.1：创建流程编排任务，定义数据集的来源，数据集的来源包括可接收的文件类型和远程数据库连接查询数据；

S1.2：由数据集的来源获取的数据称为原始数据，对原始数据进行数据过滤的预处理操作；

S1.3：根据业务需求，使用预置的模型算法进行流程编排，形成有向无环图，生成流程配置描述文件。

可选的，所涉及服务调度组件使用多节点集群模式部署，分为Master节点和多个Worker节点，Master节点和多个Worker节点运行Airflow平台。

进一步可选的，所涉及服务调度组件将流程配置描述文件提交给Airflow平台解析执行，并生成任务运行数据持久化到服务调度数据库，这一过程的具体操作包括：

S2.1：Airflow平台接收所述流程编排组件生成的流程配置描述文件，并对流程配置描述文件进行解析，解析结果包含多个计算任务，根据计算任务的类型生成相应类型的执行器，

S2.2：Master节点查询Worker节点的运行状态，Airflow根据查询到的Worker节点运行状态将一个编排中的全部计算任务发送到一个单独的Worker节点，由Worker节点开启线程，使用相应类型的执行器来执行计算任务，