[发明专利]一种支持可视化和流程化的大数据ETL调度系统

说明书

本发明公开了一种支持可视化和流程化的大数据ETL调度系统，基于B/S架构实现，其包括大数据组件操作单元、ETL作业管理模块、ETL调度管理模块、系统管理模块及作业配置数据库，所述ETL作业管理模块、ETL调度管理模块与大数据组件操作单元彼此独立、互不影响。本发明有效摒弃复杂的后台操作，极大提升了ETL的开发速度和效率，同时降低了企业项目实施的成本。

技术领域

本发明涉及大数据处理技术领域，特别涉及一种支持可视化和流程化的大数据ETL调度系统。

背景技术

ETL(Extract-Transform-Load，提取、转换和加载)是BI(大数据)项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。

大数据ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。大数据ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到大数据平台系统后，进行清洗、转换、集成，最后加载到大数据平台、数据仓库或数据集市中，成为联机分析处理、数据挖掘提供决策支持的数据。这个过程通常都需要在后台进行相关操作，且后台操作复杂，降低了ETL的开发速度和效率，同时对于集群来说可能存在着误操作的风险，大大增加企业项目实施成本。

发明内容

为解决上述问题，本发明提供了一种支持可视化和流程化的大数据ETL调度系统，其能够有效摒弃复杂的后台操作，极大提升了ETL的开发速度和效率，同时降低了企业项目实施的成本。

本发明采用以下技术方案：

一种支持可视化和流程化的大数据ETL调度系统，基于B/S架构实现，其包括大数据组件操作单元、ETL作业管理模块、ETL调度管理模块、系统管理模块及作业配置数据库，所述ETL作业管理模块、ETL调度管理模块与大数据组件操作单元彼此独立、互不影响，其中：

所述大数据组件操作单元包括支持可视化操作的数据查询模块、组件脚本编辑模块、脚本执行监控模块、平台组件驱动模块、大数据平台、本地业务系统及远程业务系统；

所述ETL作业管理模块用于对大数据抽取、清洗、加载的配置提供可视化操作，并生成JSON或XML格式作业配置文件进行提交或保存到作业配置数据库；

所述ETL调度管理模块用于进行ETL作业的定时调度工作以及完成对ETL作业执行过程的监控，并生成作业监控结果；

所述系统管理模块用于针对系统各模块提供用户、角色、资源的管理以及访问权限控制，其包括资源管理子模块、权限管理子模块及系统驱动子模块，所述驱动子模块连接所述作业配置数据库。

优选地，所述ETL作业管理模块包括抽取配置子模块、清洗配置子模块、加载配置子模块，所述抽取配置子模块用于实现大数据抽取的可视化操作，所述清洗配置子模块用于实现大数据清洗的可视化操作，所述加载配置子模块用于实现大数据加载的可视化操作。

优选地，所述ETL调度管理模块包括流程配置子模块、作业调度子模块及调度监控子模块，所述流程配置子模块用于提供ETL作业流程配置的可视化操作，生成ETL作业列表存储到作业配置数据库，以及从作业配置数据库中读取ETL作业列表，所述作业调度子模块连接流程配置子模块，用于实现ETL作业的定时调度工作，所述调度监控子模块用于对ETL作业执行过程进行监控，并生成作业监控结果。

优选地，所述作业监控结果包括ETL作业的日志、状态、结果以及告警信息。

优选地，所述大数据平台的组件包括HDFS、Hive、HBase、Solr、YARN、Oozie、Spark、Storm、Sqoop、Pig、Impala、Zookeeper。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：