[发明专利]基于Apache Oozie框架处理大数据的流程任务的调度方法

说明书

一种基于Apache Oozie框架处理大数据的流程任务的调度方法，包括客户端(前端)和服务器端(后端)，所述客户端包括界面操作模块，所述服务器端包括服务端操作模块；其中，所述界面操作模块包括任务提交、任务操作、和任务监控三个模块；所述前端界面操作模块用于与用户操作的入口对接；所述服务器端包括控制层(Controller)，业务层(Service)和存储层；所述存储层包括HDFS存储模块和Mysql存储模块。

技术领域

本发明涉及数据处理技术领域,尤其是一种基于Apache Oozie框架的大数据处理过程的流程调度方法。

背景技术

Apache Oozie一个基于工作流引擎的开源框架，是由Cloudera公司贡献给Apache的，它能够提供对Hadoop MapReduce和Pig Jobs的数据处理任务的调度与协调。Oozie需要部署到Java Servlet容器中运行。作为一个开源的工作流引擎，它提供了任务提交，任务启动，任务杀死，任务挂起，任务恢复，任务监控，任务重跑，任务调度等功能，Oozie官网提供了一个简单的查询界面。其架构设计如图1所示，Oozie提供了三种流程引擎

1，workflow:顺序执行流程节点，Oozie客户端提交流程描述文件到服务器端，Oozie服务器端解析流程文件，按照流程顺序执行节点。

2，Coordinator：协调器引擎，OOzie使用Coordinator来管理workflow，通过预定义的时间或基于数据条件来定时的启动workflow。

3，Bundle：oozie使用Bundle任务来将多个Coordinator组织成一个集合，使用buddle可以更方便的管理多个Coordinator协调器。

Oozie的最小执行单元是节点，包括Hadoop map-reduce,Hadoop file system,Pig,SSH,HTTP,eMail and Oozie sub-workflow等动作节点和start，end,kill,fork,join,decision等控制节点，同时Oozie还支持用户自定义节点，Oozie使用有向无环图(DAG)将各个流程节点组织成工作流，oozie对节点和工作流的描述都使用xml文档来描述，使用oozie开发，运维大数据的现状如图2所示。对于开发过程：

第一步：用户需要在本地使用xml编写流程任务，由于用户使用到不同的流程节点需要参考不同的schema约束，不同的流程节点的属性配置差异较大，一个工作流的文件结构会相对复杂。例举一个只有五个流程节点的workflow.xml文件：

workflow-app xmlns＝uri:oozie:workflow:0.5name＝${tableName}_wf

start to＝etl-node/

action name＝etl-node

spark xmlns＝uri:oozie:spark-action:0.1

job-tracker${jobTracker}/job-tracker

name-node${nameNode}/name-node

master${master}/master

mode${mode}/mode

name${tableName}/name

classcom.cdw.etl.bdl.${tableName}/class