[发明专利]批量排程编辑方法及装置

说明书

本发明提供了一种批量排程编辑方法及装置，所述方法包含：获得多个排程任务之间的依赖关系及各排程任务的作业信息；根据所述排程任务的作业信息生成流程框图，通过所述排程任务之间的依赖关系按序连接所述流程框图获得批量排程流程图；通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条批量框架数据库的执行语句，在批量框架数据库执行所生成的执行语句后，可以在批量控制台看到所有定义的作业信息。

技术领域

本发明涉及分布式数据处理领域，尤指一种批量排程编辑方法及装置。

背景技术

现有技术中，很多应用都使用了分布式批量框架——平台应用批量开发的一种框架，主要实现功能：1、实现批量内部各作业步之间的调度。2.批量作业按时开启(传统批量由Entegor控制)。3.控制台对批量进行可视化控制(传统批量由Entegor控制)4.分组分片调度。分布式批量架构主要有几个模块：1、zookeeper:一个分布式协调服务，它是批量调度的基础。2、控制器：是批量系统中负责作业调度工作和作业执行流程控制的管理者，是批量框架的大脑、是作业调度核心。3、执行器(Executor)：是批量系统中负责接收控制器发起作业调度指令的管理者，是批量作业的接收方。执行器在接收到控制器指令后，对指令进行解释；根据指令中的作业实例信息、指令类型等，创建处理器实例对象并执行相应的指令。4、处理器(Processor)：就是各批量作业的程序。根据应用数据处理场景。5、批量调度控制台(Console)：是提供给批量系统运维人员，用于展现批量框架中作业调度的情况、批量作业执行进度等信息以及手工调整任务状态的信息控制平台。如图1所示。

目前很多应用使用分布式批量框架创建批量作业来跑定时任务。新增作业任务需要在分布式框架的表结构中插入作业信息，作业定义和排程设计所涉及的数据库表结构如图2所示；整个分布式调度流程如图3所示。

一个大型应用涉及到的批量作业就可能有几百个，批量框架数据库表又有好几个，目前批量排程发布形式为sql语句，即不利于批量排程的阅读以及修改，生成sql语句也很容易出错，特别不利于开发人员对应用批量排程的维护，加大了开发人员的繁琐的工作量，降低了他们的工作效率。

发明内容

本发明目的在于提供一种适用于应用批量排程维护的批量排程编辑方法及装置，以降低开发人员的繁琐的工作量，提高其工作效率。

为达上述目的，本发明所提供的批量排程编辑方法具体包含：获得多个排程任务之间的依赖关系及各排程任务的作业信息；根据所述排程任务的作业信息生成流程框图，通过所述排程任务之间的依赖关系按序连接所述流程框图获得批量排程流程图；通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条批量框架数据库的执行语句，根据所述执行语句在批量框架数据库执行批量排程。

在上述批量排程编辑方法中，优选的，通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条查询语句包含：通过预定程序语言解析所述批量排程流程图中各所述流程框图获得所述作业信息；根据所述作业信息中预定标识获得作业类型；根据所述流程框图之间的连接关系、所述作业信息与所述作业类型生成对应的批量框架数据库的执行语句。

在上述批量排程编辑方法中，优选的，根据所述排程任务的作业信息生成流程框图还包含：获取所述作业信息的作业类型，根据所述作业类型获得所述流程框图的预设框体形状；根据预设框体形状构建所述流程框图。

在上述批量排程编辑方法中，优选的，通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得批量框架数据库的执行语句包含：根据所述流程框图的框体形状获得所述流程框图所对应的作业类型；通过预定程序语言解析所述流程框图获得所述作业信息；根据所述流程框图之间的连接关系获得所述作业信息之间的依赖关系；将所述作业类型、所述作业信息和所述依赖关系生成对应的批量框架数据库的执行语句。