[发明专利]一种基于kettle的数据抽取转换分析与分发方法、装置及存储介质

权利要求书

1.一种基于kettle的数据抽取转换分析与分发方法，其特征在于，包括如下步骤：

通过kettle图形化界面编辑包括数据流逻辑的kettle文件；

设置指标管理，配置指标任务，所述指标任务包括任务名称、任务编码、任务类型、执行方式、kettle转换执行文件、状态和/或简介信息；

配置定时任务，定时执行所述指标任务；

根据所执行的所述定时任务进行ETL数据抽取，抽取数据源中的数据；

根据所执行的所述定时任务，获取相应的所述kettle文件，将所述kettle文件上传至kettle执行引擎；

动态解析所述kettle文件并执行所述指标任务；

将分析和/或处理后的数据进行数据落库。

2.根据权利要求1所述的基于kettle的数据抽取转换分析与分发方法，其特征在于，在通过kettle图形化界面编辑包括数据流逻辑的kettle文件之前，还包括步骤：

定义基础数据仓库模型，包括配置事实表、维度表、主题管理、指标管理和/或数据源管理。

3.根据权利要求1所述的基于kettle的数据抽取转换分析与分发方法，其特征在于，包括：

使用kettle转换模式编辑所述kettle文件，所述kettle转换包括若干步骤，若干所述步骤之间通过跳来连接。

4.根据权利要求1所述的基于kettle的数据抽取转换分析与分发方法，其特征在于，其中设置指标管理包括：

增加指标并进行相应的说明，所述说明包括指标名称、指标类型、指标编码计算频率、所属主题、状态和/或简介信息。

5.根据权利要求1所述的基于kettle的数据抽取转换分析与分发方法，其特征在于，其中配置定时任务包括：

配置相关联系人，所述相关联系人包括姓名、邮箱和/或备注；

配置任务分组、任务名称、轮询规则、备注、执行地址和/或告警联系人。

6.根据权利要求1所述的基于kettle的数据抽取转换分析与分发方法，其特征在于，所述kettle执行引擎包括ODS层、DWD层、DWS层、聚合数据层、多维分析层、业务模型层和/或数据集市层。

7.根据权利要求1所述的基于kettle的数据抽取转换分析与分发方法，其特征在于，所述数据源包括系统日志、埋点数据、数据库数据和/或文档数据。

8.一种基于kettle的数据抽取转换分析与分发装置，其特征在于，包括：

存储器；以及

与所述存储器连接的处理器，所述处理器被配置成：

通过kettle图形化界面编辑包括数据流逻辑的kettle文件；

设置指标管理，配置指标任务，所述指标任务包括任务名称、任务编码、任务类型、执行方式、kettle转换执行文件、状态和/或简介信息；

配置定时任务，定时执行所述指标任务；

根据所执行的所述定时任务进行ETL数据抽取，抽取数据源中的数据；

根据所执行的所述定时任务，获取相应的所述kettle文件，将所述kettle文件上传至kettle执行引擎；

动态解析所述kettle文件并执行所述指标任务；

将分析和/或处理后的数据进行数据落库。

9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被机器执行时实现如权利要求1～7中任一项所述的方法的步骤。