[发明专利]一种可视化建模作业流调度引擎的构建方法

说明书

本发明公开了一种可视化建模作业流调度引擎的构建方法，其包括：步骤一，系统依据大数据建模分析流程建立通用定义数据模型，定义作业流执行入参格式；步骤二，系统接收作业流执行入参，系统遵循通用定义数据模型的约束将作业流执行入参的半结构化数据模型解析成图对象模型；步骤三，系统将图对象模型作为作业流执行模块的入参，通过作业流执行模块对图对象模型进行解析，从而构建完成可视化建模作业流调度引擎。本发明可视化建模作业流调度引擎的构建方法为电力行业可视化建模方向、数据ETL方向的作业编排与调度，提供了技术依据，有较好的借鉴意义。

技术领域

本发明涉及电网信息化技术领域，尤其是指一种可视化建模作业流调度引擎的构建方法。

背景技术

随着电网行业信息化建设的发展，系统已积累了大量的营销业务、用电信息、客户服务、统计报表等各类海量数据，但如何挖掘海量数据的价值是面临的最大的挑战，数据价值应用存在很大的提升空间。

可视化建模工具需求，以组件化、可视化的方式，按照大数据建模分析流程，提供从数据读取、数据清洗、数据处理、模型构建、模型固化、模型评估、模型部署等数据建模分析全流程、一体式可闭环组件，提供包括分类、聚类、回归、推荐等支撑大数据分布式并行计算的数据分析算法。因此可视化建模工具建设需要建设一种通用的、普适的作业流调度引擎，用来支撑大数据建模分析流程的定义与构建、执行与调度、以及运维监控。

中国专利公开号CN108492006A，公开日2018年9月4日，名称为《一种层次控制模式的运维作业调度引擎》的发明专利中公开了一种层次控制模式的运维作业调度引擎，包括展示层、处理层和数据层，所述的展示层用于系统统一入口、用户操作、数据展示，用于给用户提供可视化界面，用户通过展示层制定作业引擎模板；所述的处理层用于给用户在展示层编排的任务在后台进行处理；所述的数据层用于实现运维对象终端功能的具体执行，完成展示层用户配置的作业任务，将作业任务执行的结果数据有序获取出来存储在数据库，给展示层提供基础数据。不足之处在于，该专利的作业调度引擎主要用于对运维作业的层次控制，不能满足对可视化建模的提供较好的作业流调度，使用上较为局限。

发明内容

本发明的目的是克服现有技术中的缺点，提供一种可视化建模作业流调度引擎的构建方法。

本发明的目的是通过下述技术方案予以实现：

一种可视化建模作业流调度引擎的构建方法，包括以下步骤：

步骤一，系统依据大数据建模分析流程建立通用定义数据模型，定义作业流执行入参格式；

步骤二，系统接收作业流执行入参，系统遵循通用定义数据模型的约束将作业流执行入参的半结构化数据模型解析成图对象模型；

步骤三，系统将图对象模型作为作业流执行模块的入参，通过作业流执行模块对图对象模型进行解析，从而构建完成可视化建模作业流调度引擎；

所述的步骤二中作业流执行入参的半结构化数据模型解析成图对象模型具体为将半结构化模型中的节点对象抽象为图对象模型中的顶点，半结构化模型中的节点对象依赖关系抽象为图对象模型中的边，顶点和连接顶点的边构成有向无环图，有向无环图即为图对象模型。

顶点对应到业务作业就是算法组件，本方案对大数据建模分析流程的作业流进行了抽象，包含了算法组件属性，使用数组对象存储定义可配置N个算法组件节点，及提供弹性的节点配置普适不同的建模的作业流。由于一般建模的作业流往往需要多个步骤才能完成作业，例如需要经历数据清洗、数据贯彻、模型训练、模型评估等很多节点才能完成作业，本方案的设计正好满足了需求。