[发明专利]一种数据ETL系统及方法

说明书

本发明公开一种数据ETL系统，包括：Spark调度模块，数据ETL模块，Zeppelin Notebook模块，Airflow调度模块；所述Spark调度模块用于读取落地数据，将所述落地数据结构化，并将结构化的落地数据灌入所述数据ETL模块；所述数据ETL模块用于对接收的所述结构化的落地数据进行ETL操作，将ETL操作结果转换为Json数据，并将所述Json数据回写给所述Spark调度模块；所述Spark调度模块还用于将接收的所述Json数据结构化，获取结构化的Json数据；所述ZeppelinNotebook模块用于将所述结构化的Json数据进行加总处理，获取处理后数据，将所述处理后数据导入AWS Redshift中；所述Airflow调度模块用于对所述Spark调度模块、所述数据ETL模块、所述ZeppelinNotebook模块进行流程调度。本发明提供的技术方案，能够自动完成数据ETL过程，提高工作效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据ETL系统及方法。

背景技术

ETL(Extract-Transform-Load，抽取-转换-加载)是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗和数据转换，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

亚马逊网络服务器(Amazon Web Services，AWS)是亚马逊公司运营的云计算资源管理平台，以远端Web服务的方式向企业提供多种类型的AWS资源，基于这些服务资源及其开放的API(Application Programming Interface，应用程序编程接口)，用户可以很方便地搭建各种数据计算环境，用于数据的落地、抽取、清洗等基础设施建设以及后续的数据挖掘、机器学习等计算任务。现有的大数据基础设施建设可分为三部分：数据落地、数据ETL和数据入库。

现有的数据ETL系统使用了亚马逊的AWS EMR、AWS S3服务，以Spark和Scala语言为技术基础开发计算逻辑，通过Airflow调度来完业务流程。在开发计算逻辑之前，开发人员首先需要和数据需求方商讨数据的抽取方式，形成文档后通过配置或者编写代码的方式来完成计算逻辑的开发。在开发完成后以Airflow的DAG为调度主体，分以下几步完成整个业务流程：1、创建一组AWS EMR计算集群，在集群中预先装好Spark环境；2、编译并上传编译后的计算逻辑代码；3、调度计算逻辑代码，并将计算后的数据写入AWS S3；4、将AWS S3上的数据导入AWS Redshift表中。以上步骤均由操作者手动完成。显然，这种数据获取方式不仅繁琐，而且对于非软件开发人员(例如，项目经理或者数据挖掘人员)来说，这种需要较高软件操作技术的数据获取方式使其不能快速、顺利地获取数据结果，有时甚至只能求助于软件开发人员，使得软件开发人员需要放下手中的工作帮其处理技术问题，进而导致整个团队的工作效率低下。

发明内容

本发明旨在提供一种数据ETL系统及方法，能够自动完成数据ETL过程，提高工作效率。

为达到上述目的，本发明采用的技术方案如下：

一种数据ETL系统，包括：Spark调度模块，数据ETL模块，Zeppelin Notebook模块，Airflow调度模块；所述Spark调度模块用于读取落地数据，将所述落地数据结构化，并将结构化的落地数据灌入所述数据ETL模块；所述数据ETL模块用于对接收的所述结构化的落地数据进行ETL操作，将ETL操作结果转换为Json数据，并将所述Json数据回写给所述Spark调度模块；所述Spark调度模块还用于将接收的所述Json数据结构化，获取结构化的Json数据；所述Zeppelin Notebook模块用于将所述结构化的Json数据进行加总处理，获取处理后数据，将所述处理后数据导入AWS Redshift中；所述Airflow调度模块用于对所述Spark调度模块、所述数据ETL模块、所述Zeppelin Notebook模块进行流程调度。