[发明专利]基于Apache Oozie框架处理大数据的流程任务的调度方法

摘要

一种基于Apache Oozie框架处理大数据的流程任务的调度方法，包括客户端(前端)和服务器端(后端)，所述客户端包括界面操作模块，所述服务器端包括服务端操作模块；其中，所述界面操作模块包括任务提交、任务操作、和任务监控三个模块；所述前端界面操作模块用于与用户操作的入口对接；所述服务器端包括控制层(Controller)，业务层(Service)和存储层；所述存储层包括HDFS存储模块和Mysql存储模块。

主权项

1.一种基于Apache Oozie框架处理大数据的流程任务的调度方法，包括客户端(前端)和服务器端(后端)，所述客户端包括界面操作模块，所述服务器端包括服务端操作模块；其中，所述界面操作模块包括任务提交、任务操作、和任务监控三个模块；所述前端界面操作模块用于与用户操作的入口对接；所述服务器端包括控制层(Controller)，业务层(Service)和存储层；所述存储层包括HDFS存储模块和Mysql存储模块；其中，所述控制层用于调用所述Service层，根据用户提交的不同参数向所述Service层发送请求；所述Service层包括任务生成、任务操作、任务监控三个模块，其特征在于，包括如下步骤：生成任务提交界面和表单填写界面，选择需要的流程节点并获取表单属性数据；提交表单到控制层，然后调用到任务生成模块，任务生成模块根据不同的任务类型生成不同的Action定义文档；将所有的节点处理完成合并文件生成oozie工作流需要的workflow.xml文件；接着调用HDFS存储模块API将生成的文件上传到HDFS上；如果用户在提交任务的时候选中立即运行，控制层会接着调用任务操作模块，任务操作模块调用OOzieClient向OozieServer模块发送提交命令，由OOzieServer启动任务，同时修改任务的状态并且将任务的元数据存储到Mysql数据库。