[发明专利]大数据ETL系统及其调度方法

摘要

本发明公开一种大数据ETL系统及其调度方法，系统包括：Web可视化模块、ETL任务管理模块(包括ETL模板模块和ETL任务修改模块)、权限模块和调度模块；Web可视化模块对用户账户登陆系统后所有操作通过界面进行展示；ETL模板模块封装多种ETL操作模板；ETL任务修改模块接收用户输入的任务修改指令，调用权限模块校验该指令所对应操作的权限，在校验通过后调用调度模块以执行任务修改指令所对应的操作；权限模块设置绑定用户账户的登陆权限和可操作的ETL任务的权限；调度模块提供ETL任务的定时处理，以及任务修改指令所对应的操作的事件驱动处理。本发明能解决现有技术中ETL执行程序效率低下、操作繁琐、信息不直观，不方便描述等问题。

主权项

1.一种大数据ETL系统，其特征在于，包括：Web可视化模块、ETL任务管理模块、权限模块和调度模块；其中：所述Web可视化模块，用于对用户账户登陆大数据ETL系统后所进行的所有操作通过界面进行展示；所述ETL任务管理模块，包括：ETL模板模块和ETL任务修改模块；所述ETL模板模块，用于封装多种ETL操作的模板；所述ETL任务修改模块，用于接收用户输入的任务修改指令，调用所述权限模块校验所述任务修改指令所对应操作的权限，在校验通过后调用所述调度模块，以执行所述任务修改指令所对应的操作；所述权限模块，用于设置绑定用户账户的登陆权限和可操作的ETL任务的权限；所述调度模块，用于提供ETL任务的定时处理，以及所述任务修改指令所对应的操作的事件驱动处理。