[发明专利]一种基于Kettle的ETL Web应用系统架构方法

说明书

本发明公开一种基于Kettle的ETL Web应用系统架构方法，包括：步骤1，创建Kettle数据库和ETL Web工程数据库；步骤2，初始化ETL Web工程数据库以及Kettle客户端所需要的表和数据，将初始化后的Kettle数据库中所有表和数据导入到ETL Web工程数据库中；步骤3，创建ETL Web工程，在ETL Web工程中导入相关的Kettle依赖jar包，基于初始化后的ETL Web工程数据库完成Web工程的基础环境配置；步骤4，基于Web工程的基础环境配置开发前台与后台；步骤5，在后台中部署Kettle集群并开启Carte服务。采用浏览器/服务器模式架构开发ETL Web应用的系统架构方案和步骤方法，实现整个企业的ETL工作只需要使用一套系统，基于这套系统能够做到统一管理和监控所有的ETL任务，做到分角色管理，从而降低企业的运营维护成本。

技术领域

本发明涉及计算机技术领域，具体是一种基于Kettle的ETL Web应用系统架构方法。

背景技术

Kettle(英文Kettle E.T.T.L Environment的缩写)是一款国外开源的ETL(英文Extract-Transform-Load的缩写)，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程)工具，采用纯Java语言编写，可以运行在Windows、Linux、Unix平台上，数据抽取高效稳定。由于Kettle是采用C/S(Client/Server，客户端服务器端)架构的客户端工具，需要ETL从业人员单独维护一套Kettle，特别是对于企业中多个部门的数据如何进行抽取、转换和加载到统一的数据仓库中，如何协调管理和监控Kettle集群中的任务，如何对不同部门的使用者进行管理等，这些都是使用传统的Kettle客户端工具所需要解决的问题。目前大部分专利是基于Kettle客户端工具并结合业务提出的一些数据分发、同步等方法，本质上对于ETL工作还是使用的Kettle客户端工具。

对于Kettle的任务调度方面的研究，其中专利CN108629052A提出一种Kettle任务调度方法，利用Python中的Deamon程序轮询满足调度条件的Kettle任务，根据从Kettle数据库资源库中的数据文件获取参数项，生成参数列表，执行Kettle任务。

对于如何管理和监控Kettle工具生成的转换和作业任务，专利CN107045538A提出一种基于Kettle的web端交换管理方法，把Kettle中转换、作业的基础属性配置，运行管理与配置从Kettle中剥离，使经常性的操作无需启动Kettle即可完成。

在上述背景下，一方面传统地使用Kettle客户端作为ETL工具面临着不易维护、不便管理和监控任务等问题；另一方面基于Kettle客户端在任务调度、管理和监控任务做了改进的专利，需要使用Kettle客户端生成转换和作业，然后在此基础上，通过开发的另外一个系统来完成任务调度或管理、监控Kettle中转换、作业等工作，会导致用户需要在Kettle客户端和其他一个或多个系统之间频繁切换，整体性不强容易出错，同时也增加了工作的复杂性。

现有的技术只是将Kettle客户端生成的转换、作业的基础属性配置、运行管理与配置信息进行分离，通过开发Web应用工程并引用分离出来的配置信息来实现对Kettle的转换、作业的管理和监控。这种实现方式有如下几点缺陷：

1、作为ETL产品整体性不强，由两个系统组成：一是Kettle客户端，负责所有与图形界面操作相关的工作；二是Web后台管理应用，基于B/S架构提供浏览器端的界面网页，负责对系统一生成的数据(包括转换、作业的基础属性配置等)进行查询的功能。导致用户需要在这两个系统之间频繁切换，降低了工作效率。

2、与Kettle客户端耦合度较高，扩展性较差。

发明内容

针对上述现有技术中的不足，本发明提供一种基于Kettle的ETL Web应用系统架构方法。