[发明专利]一种自动化ETL数据处理工具及其使用方法

说明书

本发明属于计算机领域并公开了一种自动化ETL数据处理工具及其使用方法；包括数据抽取模块、数据转换模块、任务创建模块、数据加载模块、数据存储模块和数据输出模块；所述的数据抽取模块与数据转换模块连接，所述的数据转换模块与任务创建模块连接，所述任务创建模块与数据加载模块连接，所述数据加载模块与数据输出模块连接，所述数据抽取模块、数据转换模块、任务创建模块、数据加载模块均与数据存储模块连接；本发明的自动化ETL数据处理工具可减少频繁地导入导出ETL工具降低处理速度的情况，进而较现有技术有效提高了处理速度和开发效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种自动化ETL数据处理工具及其使用方法。

背景技术

随着大数据业务的快速发展，对数据进行ETL处理就变得非常的普遍。ETL处理的过程大致是将来自不同数据源中的数据抽取后进行清洗、转换、集成处理，即数据抽取、数据转换、数据加载等处理，并将处理后的数据置入目标数据仓库中。目前，存在多种不同类型的数据源，例如：关系型Mysql、非关系型HBase、数据仓库有Hive、文件存储HDFS、具有存储功能的文件索引服务Elasticsearch；而不同的数据类型的数据源可能会具有不同的接口类型。然而，针对不同的接口类型的数据源技术人员需要开发不同的ETL处理工具进行ETL处理，这样不仅增加了技术开发人员的工作量，而且开发效率也会偏低。鉴于现有技术中的缺点，如何提供一种使用简单、运行速度快、开发效率高的自动化ETL数据处理工具及其使用方法是本领域技术人员需要解决的技术难题。

发明内容

针对现有技术中的上述不足之处，本发明提供了一种自动化ETL数据处理工具及其使用方法。

本发明为解决上述技术问题，采用以下技术方案来实现：

设计一种自动化ETL数据处理工具，包括数据抽取模块、数据转换模块、任务创建模块、数据加载模块、数据存储模块和数据输出模块；

所述的数据抽取模块与所述的数据转换模块连接，且所述的数据抽取模块用于获取数据源中的源数据，并将获取的源数据传递至所述的数据转换模块中；

所述的数据转换模块与所述的任务创建模块连接，且所述的数据转换模块用于将接收到的源数据转换成CSV格式数据，并将所述的CSV格式数据传递至任务创建模块中；

所述的任务创建模块与所述的数据加载模块连接，且所述的任务创建模块用于依据所述的CSV格式数据来创建ETL任务；

所述的数据加载模块与所述的数据输出模块连接，且所述的数据加载模块用于根据创建的ETL任务来执行、加载该ETL任务；

所述的数据输出模块用于将ETL任务执行、加载以后的结果发送至目标数据仓库；

所述的数据存储模块均与数据抽取模块、数据转换模块、任务创建模块以及数据加载模块连接，其用于存储输入数据、中间数据以及ETL任务执行以后的结果。

优选的，所述的数据抽取模块还包括对数据源中的源数据进行归一化处理。

优选的，所述数据加载模块的架构为ETL架构、ELT架构中的一种。

设计一种自动化ETL数据处理工具的使用方法，包括如下步骤：

步骤一：数据抽取模块获取数据源中的源数据，并将获取的源数据传递至所述的数据转换模块中；

步骤二：数据转换模块将接收到的源数据转换成CSV格式数据；

步骤三：任务创建模块依据所述的CSV格式数据来创建ETL任务；

步骤四：数据加载模块用于根据创建的ETL任务来执行、加载该ETL任务；

步骤五：数据输出模块将ETL任务执行、加载以后的结果发送至目标数据仓库中。