[发明专利]一种基于建模平台模型运行流程调度方法

权利要求书

1.一种基于建模平台模型运行流程调度方法，其特征在于，包括如下步骤：

步骤S1，接收机器学习平台发送来的用于定义DAG的json文件，并将所述json文件传输到DAG调度平台；

步骤S2，由DAG调度平台解析所述json文件，转换为结构化数据存储到Mysql数据库中；

步骤S3，DAG调度平台调用所述json文件，开始调度dag定义各个算子任务，在根据各个算子任务的算子类型，将所述算子任务分发道相应的环境进行执行。

2.如权利要求1所述的基于建模平台模型运行流程调度方法，其特征在于，所述DAG调度平台包括：图引擎DAG engine、算子执行引擎Opertor Engine和执行器executer。

3.如权利要求2所述的基于建模平台模型运行流程调度方法，其特征在于，所述图引擎用于解析传入的json文件，根据json的配置生成算子的出入参数以及运行配置信息保存到Mysql数据库，同时负责任务的调用。

4.如权利要求1或3所述的基于建模平台模型运行流程调度方法，其特征在于，所述json文件用于定义各个算子的出入参数和算子的配置参数。

5.如权利要求1所述的基于建模平台模型运行流程调度方法，其特征在于，在所述步骤S3中，所述算子任务包括：数据读取、数据预处理、特征抽取、特征筛选、模型训练、模型预测、模型评估和模型部署。

6.如权利要求2或3所述的基于建模平台模型运行流程调度方法，其特征在于，所述图引擎用于对当前算子任务，采用广度优先遍历获取所有需要执行的算子信息；轮询所有算子，判断上算子是否全部执行完成，执行完成开始执行当前算子；发送请求到算子执行引擎开始执行当前算子任务。

7.如权利要求2所述的基于建模平台模型运行流程调度方法，其特征在于，所述算子执行引擎用于接收图引擎发送的请求；调取对应的算子代码片段；根据不同类型任务调用不同的执行器。

8.如权利要求7所述的基于建模平台模型运行流程调度方法，其特征在于，所述算子执行引擎还用于将执行器的任务执行的最终状态写入到Redis数据库中，由图引擎监听Redis数据库状态变化，并将状态实时传回到机器学习平台的WEB界面。

9.如权利要求7所述的基于建模平台模型运行流程调度方法，其特征在于，所述算子执行引擎还用于提供统一的启停接口、日志查询接口和任务状态查询接口。

10.如权利要求2所述的基于建模平台模型运行流程调度方法，其特征在于，所述执行器包括：本体执行器、分布式计算平台执行器和执行器接口，其中，

所述本体执行器用于执行单机的python任务，执行单机文件方式的机器学习算法。当没有大数据平台的时候，只能通过本地执行器执行DAG；

所述分布式计算平台执行器用于将python算法发送至大数据计算平台，使用大数据平台资源运行算子；

所述执行器接口用于为后续的执行器实现需要实现这个基类，提供拓展接口。