[发明专利]一种基于Azkaban的离线业务作业流生成方法及装置

说明书

本发明公开了一种基于Azkaban的离线业务作业流生成方法及装置，涉及大数据处理技术领域。能够有效解决用户业务逻辑复杂且数量巨大的业务作业流的手动编写Azkaban作业job的问题，减少繁琐的人工介入和重复性劳动、缩短开发流程，并降低了开发和运维的难度。该方法包括：通过可视化配置页面对至少一个离线业务作业流进行规则配置；通过解析引擎对完成规则配置的所述离线业务作业流进行解析，得到所述离线业务作业流所对应的job配置；所述离线业务作业流所对应的job配置通过生成引擎，得到所述离线业务作业流的目标文件；将所述离线业务作业流所对应的目标文件上传至服务器包括的与所述离线业务作业流对应的业务项目内。

技术领域

本发明涉及大数据处理技术领域，更具体的涉及一种基于Azkaban的离线业务作业流生成方法及装置。

背景技术

目前很多企业普遍存在大数据场景下批量工作流任务处理需求，对海量数据进行处理时，大部分公司都采用Hadoop来对数据进行离线处理，但是由于业务场景，业务指标的繁杂，所使用的大数据组件繁多，经常一个任务无法直接完成业务需要，需要任务之间按照特定关系来执行(任务流)，在这种情况下需要一套调度系统把各个任务之间的依赖关系串联起来。任务的运行情况的监控，异常问题的排查等，这些问题会使得我们日常的工作变得复杂。

Azkaban是由Lindedin公司推出的一个批量工作流任务的调度器，集成调度、编排、失败重试、邮件告警等功能为一体。主要用于在一个工作流内按照特定的顺序运行一组工作和流程。Azkaban使用JOB配置文件建立任务之间的相互依赖关系，并且提供了一个易于使用的Web用户界面维护和跟踪你的工作流。

虽然开源工作流调度框架Azkaban功能强大，但真正面对实际业务场景时仍然存在很多需要改进的地方。在现有技术中，Azkaban主要通过手工为项目中的每个操作文件写出对应的任务脚本文件的方式来实现业务流程的构建，由于业务场景繁杂且业务流程繁多，手工编写job文件构建不同业务流程这种方式操作繁琐且花费时间长，效率低下且人力成本超标，同时极可能忽略掉了其中某个文件的依赖配置，导致最终项目运行错误。

发明内容

本发明实施例提供一种基于Azkaban的离线业务作业流生成方法及装置，能够有效解决用户业务逻辑复杂且数量巨大的业务作业流的手动编写Azkaban作业job的问题，减少繁琐的人工介入和重复性劳动、缩短开发流程，并降低了开发和运维的难度。

本发明实施例提供一种基于Azkaban的离线业务作业流生成方法，包括：

通过可视化配置页面对至少一个离线业务作业流进行规则配置，其中，规则配置包括数据源、数据处理过程和数据流向；

通过解析引擎对完成规则配置的所述离线业务作业流进行解析，得到所述离线业务作业流所对应的job配置；

所述离线业务作业流所对应的job配置通过生成引擎，得到所述离线业务作业流的目标文件；

将所述离线业务作业流所对应的目标文件上传至服务器包括的与所述离线业务作业流对应的业务项目内。

优选地，所述离线业务作业流所对应的目标文件上传至服务器包括的与所述离线业务作业流对应的业务项目内之后，还包括：

所述离线业务作业流对应的业务项目根据所述离线业务作业流的调度规则生成不同的任务调度计划；

所述调度规则包括自动重跑、生效日期、起调时间、执行周期、间隔时间、任务自依赖中的一种或多种；

所述执行周期包括小时、天、周、月，所述间隔时间为N小时，N为正整数。

优选地，所述离线业务作业流所对应的目标文件上传至服务器包括的与所述离线业务作业流对应的业务项目内之后，还包括：