[发明专利]数据抽取、转换和加载方法、系统及装置

说明书

技术领域

本发明涉及数据转换技术领域，更具体地说，涉及数据抽取、转换和加 载方法、系统及装置。

背景技术

ETL（Extract-Transform-Load）是用来描述将数据从来源端经过抽取 （extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较 常用在数据仓库，但其对象并不限于数据仓库。ETL的流程可以用任何的编 程语言去开发完成。

对于ETL中的数据转换流程，传统作法是将进行数据转换操作的规则嵌 入到程序代码中的方式来实现的。然而，在实施本发明创造的过程中，发明 人发现，利用规则内嵌到代码的方式编写成的数据转换软件一旦开发完成， 便不易更改。现实情况却是数据转换逻辑往往需要频繁地变更，需要开发人 员对整个程序进行重新编译，修改分散在各个代码段的数据转换规则，也即 传统作法在实现数据转换逻辑变更时存在开发量大的问题。

发明人同时还发现，一般的规则引擎系统包括规则编辑器、规则库和规 则引擎。其中规则编辑器用于定制（编辑）规则。通过规则编辑器可以将定 制的规则存储在规则库中。在业务逻辑发生改变时，只需要重新定制业务规 则就可以达到更新业务逻辑的目的，不需要对整个程序进行重复开发。规则 引擎则可加载上述可执行规则文件中定制的规则，并执行上述规则完成预设 的业务流程。规则引擎系统的上述特点为解决传统方式在ETL流程因数据转 换逻辑变更时存在的开发量大的问题提供了契机。

发明内容

有鉴于此，本发明目的在于提供数据抽取、转换和加载方法、系统及装 置，以解决传统方式在ETL流程因数据转换逻辑变更时存在的开发量大的问 题。

为实现上述目的，本发明提供如下技术方案：

一种基于规则引擎系统的数据抽取、转换和加载方法，所述规则引擎系 统包括规则编辑器和规则引擎，所述方法包括：

规则编辑器接收数据转换配置属性值，并根据所述数据转换配置属性值 获得数据转换规则；

抽取数据；

所述规则引擎加载所述数据转换规则，并使用所述数据转换规则对抽取 的数据进行转换；

将转换后的数据进行加载；

所述抽取数据的具体方式为：抽取数据，并按照封装规则将抽取到的数 据封装成数据转换对象；

所述规则引擎加载所述数据转换规则，并使用所述数据转换规则对抽取 的数据进行转换的具体方式为：所述规则引擎加载所述数据转换规则，并使 用所述数据转换规则对所述数据转换对象进行转换。

一种基于规则引擎系统的数据抽取、转换和加载系统，所述规则引擎系 统包括规则编辑器和规则引擎，所述数据抽取、转换和加载系统包括：

生成单元，用于利用所述规则编辑器接收数据转换配置属性值，并根据 所述数据转换配置属性值获得数据转换规则；

抽取单元，用于抽取数据；

转换单元，用于利用所述规则引擎加载所述数据转换规则，并使用所述 数据转换规则对抽取的数据进行转换；

加载单元，用于将转换后的数据进行加载。

从上述的技术方案可以看出，在本发明中，在数据转换逻辑发生改变时， 只需要利用规则编辑器重新定制数据转换规则就可以达到更新数据转换逻辑 的目的，不需要对整个程序进行重复开发。与传统方式相比，开发量较小。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的基于规则引擎系统的ETL方法流程图；

图2为本发明实施例所提供的Drools规则引擎系统结构示意图；

图3为本发明实施例所提供的基于Drools规则引擎系统的ETL方法流程 图；

图4为本发明实施例所提供的用户图形界面结构示意图；

图5为本发明实施例所提供的基于规则引擎系统的ETL系统结构示意图；

图6为本发明实施例所提供的基于规则引擎系统的ETL装置结构示意图。

具体实施方式