[发明专利]一种支持可视化和流程化的大数据ETL调度系统

摘要

本发明公开了一种支持可视化和流程化的大数据ETL调度系统，基于B/S架构实现，其包括大数据组件操作单元、ETL作业管理模块、ETL调度管理模块、系统管理模块及作业配置数据库，所述ETL作业管理模块、ETL调度管理模块与大数据组件操作单元彼此独立、互不影响。本发明有效摒弃复杂的后台操作，极大提升了ETL的开发速度和效率，同时降低了企业项目实施的成本。

主权项

一种支持可视化和流程化的大数据ETL调度系统，其特征在于，其基于B/S架构实现，包括大数据组件操作单元、ETL作业管理模块、ETL调度管理模块、系统管理模块及作业配置数据库，所述ETL作业管理模块、ETL调度管理模块与大数据组件操作单元彼此独立、互不影响，其中：所述大数据组件操作单元包括支持可视化操作的数据查询模块、组件脚本编辑模块、脚本执行监控模块、平台组件驱动模块、大数据平台、本地业务系统及远程业务系统；所述ETL作业管理模块用于对大数据抽取、清洗、加载的配置提供可视化操作，并生成JSON或XML格式作业配置文件进行提交或保存到作业配置数据库；所述ETL调度管理模块用于进行ETL作业的定时调度工作以及完成对ETL作业执行过程的监控，并生成作业监控结果；所述系统管理模块用于针对系统各模块提供用户、角色、资源的管理以及访问权限控制，其包括资源管理子模块、权限管理子模块及系统驱动子模块，所述驱动子模块连接所述作业配置数据库。