[发明专利]基于Apache Oozie框架处理大数据的流程任务的调度装置

摘要

本发明涉及一种基于Apache Oozie框架处理大数据的流程任务的调度装置，包括客户端(前端)和服务器端(后端)，所述客户端包括界面操作模块，所述服务器端包括服务端操作模块；其中，所述界面操作模块包括任务提交、任务操作、和任务监控三个模块；所述前端界面操作模块用于与用户操作的入口对接；所述服务器端包括控制层(Controller)，业务层(Service)和存储层。

主权项

1.一种基于Apache Oozie框架处理大数据的流程任务的调度装置，包括客户端(前端)和服务器端(后端)，所述客户端包括界面操作模块，所述服务器端包括服务端操作模块；其中，所述界面操作模块包括任务提交、任务操作、和任务监控三个模块；所述前端界面操作模块用于与用户操作的入口对接；所述服务器端包括控制层(Controller)，业务层(Service)和存储层；其中，所述控制层用于调用所述Service层，根据用户提交的不同参数向所述Service层发送请求；所述Service层包括任务生成、任务操作、任务监控三个模块，所述Service层用于整个大数据处理过程的核心业务处理，并将用户的最终请求发送到OOzieServer端，由OOzieServer端最后执行任务；所述任务监控模块用于定时查询统计任务的状态，将任务的运行情况统计分析生成任务监控报表，在任务监控界面展示，如果有任务执行失败，所述任务监控模块发出邮件提示提交人。所述存储层包括MYSQL存储模块和HDFS存储模块，所述MYSQL存储模块用于存储所述流程任务的元数据；所述HDFS存储模块用于存储所述流程任务的定义文件；所有生成的任务的定义描述文件都存储到HDFS上，所有任务运行的元数据，包括任务运行的结果记录都存储到所述Mysql数据库。