[发明专利]一种数据ETL系统及方法

权利要求书

1.一种数据ETL系统，其特征在于，包括：Spark调度模块，数据ETL模块，ZeppelinNotebook模块，Airflow调度模块；

所述Spark调度模块用于读取落地数据，将所述落地数据结构化，并将结构化的落地数据灌入所述数据ETL模块；

所述数据ETL模块用于对接收的所述结构化的落地数据进行ETL操作，将ETL操作结果转换为Json数据，并将所述Json数据回写给所述Spark调度模块；所述数据ETL模块包括：解包模块，ETL逻辑模块，封包模块；所述解包模块用于对接收的所述结构化的落地数据进行解包操作，获取解包数据；所述ETL逻辑模块用于对所述解包数据进行ETL操作，将ETL操作结果转换为Json数据；所述封包模块用于对所述Json数据进行封包操作，并将封包后的Json数据回写给所述Spark调度模块；

所述Spark调度模块还用于将接收的所述Json数据结构化，获取结构化的Json数据；

所述Zeppelin Notebook模块用于将所述结构化的Json数据进行加总处理，获取处理后数据，将所述处理后数据导入AWS Redshift中；

所述Airflow调度模块用于对所述Spark调度模块、所述数据ETL模块、所述ZeppelinNotebook模块进行流程调度；

所述ETL逻辑模块对用户可见；所述Airflow调度模块提供用户运行接口。

2.根据权利要求1所述的数据ETL系统，其特征在于，所述Spark调度模块还用于将接收的所述封包后的Json数据解包，并将解包后的Json数据结构化，获取结构化的Json数据。

3.根据权利要求1所述的数据ETL系统，其特征在于，所述Airflow调度模块对所述Spark调度模块、所述数据ETL模块、所述Zeppelin Notebook模块进行流程调度包括：创建AWS EMR集群,构建Spark执行环境,同步ETL操作代码至Spark执行环境，调度ZepplinNoteBook脚本，关闭AWS EMR集群。

4.根据权利要求3所述的数据ETL系统，其特征在于，所述Airflow调度模块在关闭AWSEMR集群之后，还包括：向用户发送操作完成的通知。

5.根据权利要求4所述的数据ETL系统，其特征在于，所述Airflow调度模块在关闭AWSEMR集群之后，通过邮件的方式向用户发送操作完成的通知。

6.根据权利要求1所述的数据ETL系统，其特征在于，所述Zeppelin Notebook模块还用于将所述处理后数据保存至AWS S3中。

7.根据权利要求1所述的数据ETL系统，其特征在于，所述数据ETL模块采用Python语言进行编写。

8.一种根据权利要求1所述的数据ETL系统实现数据ETL的方法，其特征在于，包括：

在所述ETL逻辑模块中创建py文件；

在所述ETL逻辑模块中编写ETL代码并提交；

在所述Airflow调度模块中填写所述py文件的名称，并设置落地数据读取时间段；

通过所述Airflow调度模块提供的用户运行接口，触发所述Airflow调度模块；

在所述AWS Redshift中查看数据结果。