[发明专利]一种基于Azkaban的离线业务作业流生成方法及装置

权利要求书

1.一种基于Azkaban的离线业务作业流生成方法，其特征在于，包括：

通过可视化配置页面对至少一个离线业务作业流进行规则配置，其中，规则配置包括数据源、数据处理过程和数据流向；

通过解析引擎对完成规则配置的所述离线业务作业流进行解析，得到所述离线业务作业流所对应的job配置；

所述离线业务作业流所对应的job配置通过生成引擎，得到所述离线业务作业流的目标文件；

将所述离线业务作业流所对应的目标文件上传至服务器包括的与所述离线业务作业流对应的业务项目内。

2.如权利要求1所述的方法，其特征在于，所述离线业务作业流所对应的目标文件上传至服务器包括的与所述离线业务作业流对应的业务项目内之后，还包括：

所述离线业务作业流对应的业务项目根据所述离线业务作业流的调度规则生成不同的任务调度计划；

所述调度规则包括自动重跑、生效日期、起调时间、执行周期、间隔时间、任务自依赖中的一种或多种；

所述执行周期包括小时、天、周、月，所述间隔时间为N小时，N为正整数。

3.如权利要求2所述的方法，其特征在于，所述离线业务作业流所对应的目标文件上传至服务器包括的与所述离线业务作业流对应的业务项目内之后，还包括：

根据多个所述任务调度计划，对接收到的离线业务作业流任务实例执行请求，进行排队异步处理。

4.如权利要求1所述的方法，其特征在于，所述job配置包括所述离线业务作业流各子节点的job任务类型、参数、变量数据、子节点依赖关系和业务流的调度计划。

5.如权利要求1所述的方法，其特征在于，所述离线业务作业流所对应的job配置通过生成引擎，得到所述离线业务作业流的目标文件，具体包括：

根据所述离线业务作业流的依赖关系和各子节点的job任务类型，通过生成引擎生成所述离线业务作业流对应的Azkaban文件；

将所述离线业务作业流的参数和所述离线业务作业流对应的Azkaban文件进行打包压缩，得到所述离线业务作业流对应的所述目标文件，其中，所述目标文件为压缩文件。

6.一种基于Azkaban的离线业务作业流生成装置，其特征在于，包括：

配置单元，用于通过可视化配置页面对至少一个离线业务作业流进行规则配置，其中，规则配置包括数据源、数据处理过程和数据流向；

解析单元，用于通过解析引擎对完成规则配置的所述离线业务作业流进行解析，得到所述离线业务作业流所对应的job配置；

生成单元，用于所述离线业务作业流所对应的job配置通过生成引擎，得到所述离线业务作业流的目标文件；

上传单元，用于将所述离线业务作业流所对应的目标文件上传至服务器包括的与所述离线业务作业流对应的业务项目内。

7.如权利要求6所述的装置，其特征在于，所述上传单元还用于：

所述离线业务作业流对应的业务项目根据所述离线业务作业流的调度规则生成不同的任务调度计划；

所述调度规则包括自动重跑、生效日期、起调时间、执行周期、间隔时间、任务自依赖中的一种或多种；

所述执行周期包括小时、天、周、月，所述间隔时间为N小时，N为正整数。

8.如权利要求7所述的装置，其特征在于，所述上传单元还用于：根据多个所述任务调度计划，对接收到的离线业务作业流任务实例执行请求，进行排队异步处理。

9.如权利要求6所述的装置，其特征在于，所述job配置包括所述离线业务作业流各子节点的job任务类型、参数、变量数据、子节点依赖关系和业务流的调度计划。

10.如权利要求6所述的装置，其特征在于，所述生成单元具体用于：

根据所述离线业务作业流的依赖关系和各子节点的job任务类型，通过生成引擎生成所述离线业务作业流对应的Azkaban文件；

将所述离线业务作业流的参数和所述离线业务作业流对应的Azkaban文件进行打包压缩，得到所述离线业务作业流对应的所述目标文件，其中，所述目标文件为压缩文件。