[发明专利]一种基于元数据的ETL实现方法及系统

权利要求书

1.一种基于元数据的ETL实现方法，其特征在于，包括：

获取预先编写的ETL需求；

令所述ETL需求按照元数据转换规则形成ETL元数据；

将所述ETL元数据导入预创建的ETL元数据模型以存储所述ETL元数据；

根据所述ETL元数据生成ETL配置文件；

将生成的ETL配置文件编译成可执行ETL JOB。

2.根据权利要求1所述的基于元数据的ETL实现方法，其特征在于：所述ETL需求包括需处理的数据源信息、处理后的数据结果样式、及数据处理方式。

3.根据权利要求1所述的基于元数据的ETL实现方法，其特征在于：所述ETL元数据包括ETL过程元数据和ETL过程明细元数据；

其中，所述ETL过程元数据用于实现数据抽取、代码映射、数据清洗、数据转换、数据聚合、及数据加载；

所述ETL过程明细元数据用于存储数据抽取明细元数据、代码映射明细元数据、数据清洗明细元数据、数据转换明细元数据、数据聚合明细元数据、及数据加载明细元数据。

4.根据权利要求3所述的基于元数据的ETL实现方法，其特征在于：令所述ETL需求按照元数据转换规则形成ETL元数据的步骤包括：

根据所述ETL需求形成至少一个ETL单元；

根据所述ETL单元形成所述ETL过程元数据；

根据所述ETL过程元数据形成所述ETL过程明细元数据。

5.根据权利要求1或3所述的基于元数据的ETL实现方法，其特征在于：预先创建的ETL元数据模型包括多种数据模型，即包括ETL过程元数据模型、数据抽取元数据模型、代码映射元数据模型、数据清洗元数据模型、数据转换元数据模型、数据聚合元数据模型、以及数据加载元数据模型。

6.根据权利要求5所述的基于元数据的ETL实现方法，其特征在于：根据所述ETL元数据生成ETL配置文件的步骤包括：

分别根据所述ETL元数据模型中包含的多种数据模型中每一种数据模型的所述ETL元数据生成相应的ETL配置信息；

根据每一种数据模型中生成的所述ETL配置信息形成所述ETL配置文件。

7.根据权利要求1或3所述的基于元数据的ETL实现方法，其特征在于：预先创建的ETL元数据模型的具体内容包括：所属ETL名称、ETL元数据代码、ETL流程顺序、及所述ETL过程明细元数据。

8.根据权利要求1所述的基于元数据的ETL实现方法，其特征在于：将所述ETL元数据导入预先创建的ETL元数据模型以存储所述ETL元数据的步骤包括：

标准化所述ETL元数据；

将标准化后的所述ETL元数据导入预先创建的ETL元数据模型。

9.根据权利要求1所述的基于元数据的ETL实现方法，其特征在于：将生成的ETL配置文件编译成可执行ETL JOB的步骤包括：

编译所述ETL配置文件；

根据编译后所述ETL配置文件生成可执行的ETL JOB。

10.一种基于元数据的ETL实现系统，其特征在于，包括：

编写模块，用于预先编写ETL需求；

创建模块，用于预创建ETL元数据模型；

与所述编写模块连接的获取模块，用于从所述编写模块中获取预先编写的ETL需求；

与所述获取模块连接的ETL元数据形成模块，用于令所述ETL需求按照元数据转换规则形成ETL元数据；

分别与所述创建模块和所述ETL元数据形成模块连接的数据导入模块，用于将所述ETL元数据导入预创建的ETL元数据模型以存储所述ETL元数据；

与所述数据导入模块连接的配置文件生成模块，用于根据所述ETL元数据生成ETL配置文件；

与所述配置文件生成模块的编译模块，用于将生成的ETL配置文件编译成可执行ETL JOB。