[发明专利]一种基于kettle的数据抽取转换分析与分发方法、装置及存储介质

说明书

本发明提供了一种基于kettle的数据抽取转换分析与分发方法、装置及存储介质，其中基于kettle的数据抽取转换分析与分发方法包括步骤：通过kettle图形化界面编辑包括数据流逻辑的kettle文件；设置指标管理，配置指标任务，指标任务包括任务名称、任务编码、任务类型、执行方式、kettle转换执行文件、状态和/或简介信息；配置定时任务，定时执行指标任务；根据所执行的定时任务进行ETL数据抽取，抽取数据源中的数据；根据所执行的定时任务，获取相应的kettle文件，将kettle文件上传至kettle执行引擎；动态解析kettle文件并执行指标任务；将分析和/或处理后的数据进行数据落库。通过上述方法，能够高效快速地将各项数据归集一个系统并对其进行统一分析后统一提供服务。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于kettle的数据抽取转换分析与分发方法、装置及存储介质。

背景技术

目前，在大部分企业中，随着企业业务的不断扩大，企业系统在不断的增加、迭代更新，系统之间也会有很多的关联，就像蜘蛛网一样，错综复杂。当管理层需要对各项数据进行统一完整分析时会面临一个非常艰难的事情。如：原始excel数据、第一代系统数据、第二代系统数据以及零星分散在各个系统数据中，如何将数据归集一个系统并对其进行分析后统一提供服务。现有的系统无法高效快速地满足其需求。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中现有的系统无法高效快速地将各项数据归集一个系统并对其进行统一分析后统一提供服务的问题。

为了解决上述技术问题，本发明提供一种基于kettle的数据抽取转换分析与分发方法，包括步骤：通过kettle图形化界面编辑包括数据流逻辑的kettle文件；设置指标管理，配置指标任务，所述指标任务包括任务名称、任务编码、任务类型、执行方式、kettle转换执行文件、状态和/或简介信息；配置定时任务，定时执行所述指标任务；根据所执行的所述定时任务进行ETL数据抽取，抽取数据源中的数据；根据所执行的所述定时任务，获取相应的所述kettle文件，将所述kettle文件上传至kettle执行引擎；动态解析所述kettle文件并执行所述指标任务；将分析和/或处理后的数据进行数据落库。

可选地，在通过kettle图形化界面编辑包括数据流逻辑的kettle文件之前，还包括步骤：定义基础数据仓库模型，包括配置事实表、维度表、主题管理、指标管理和/或数据源管理。

可选地，使用kettle转换模式编辑kettle文件，kettle转换包括若干步骤，若干步骤之间通过跳来连接。

可选地，其中设置指标管理包括：增加指标并进行相应的说明，说明包括指标名称、指标类型、指标编码计算频率、所属主题、状态和/或简介信息。

可选地，其中配置定时任务包括：配置相关联系人，相关联系人包括姓名、邮箱和/或备注；配置任务分组、任务名称、轮询规则、备注、执行地址和/或告警联系人。

可选地，kettle执行引擎包括ODS层、DWD层、DWS层、聚合数据层、多维分析层、业务模型层和/或数据集市层。

可选地，数据源包括系统日志、埋点数据、数据库数据和/或文档数据。

为了解决上述技术问题，本发明还提供一种基于kettle的数据抽取转换分析与分发装置，包括：存储器；以及与所述存储器连接的处理器，所述处理器被配置成：通过kettle图形化界面编辑包括数据流逻辑的kettle文件；设置指标管理，配置指标任务，所述指标任务包括任务名称、任务编码、任务类型、执行方式、kettle转换执行文件、状态和/或简介信息；配置定时任务，定时执行所述指标任务；根据所执行的所述定时任务进行ETL数据抽取，抽取数据源中的数据；根据所执行的所述定时任务，获取相应的所述kettle文件，将所述kettle文件上传至kettle执行引擎；动态解析所述kettle文件并执行所述指标任务；将分析和/或处理后的数据进行数据落库。