[发明专利]一种ETL系统的高效流程编排方法和系统

说明书

本发明提出了一种ETL系统的高效流程编排方法和系统，所述方法包括：调取所述ETL系统的操作流程中与ETL任务对应的元数据，根据操作流程的逻辑关系，自动将所述元数据编辑为与所述逻辑关系对应的有向无环图；对所述有向无环图进行批量解析，获得所述有向无环图对应的DAG流程，并对所述DAG流程进行配置；将所述DAG流程发送至计算引擎，通过所述计算引擎对所述DAG流程进行执行。所述系统包括与所述方案的步骤对应的模块。

技术领域

本发明提出了一种ETL系统的高效流程编排方法和系统，属于数据仓库技术领域。

背景技术

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据；ETL的流程可以用任何的编程语言去开发完成，由于ETL是极为复杂的过程，而手写程序不易管理，有愈来愈多的企业采用工具协助ETL的开发，并运用其内置的元数据功能来存储来源与目的的对应以及转换规则。工具可以提供较强大的连接功能来连接来源端及目的端，开发人员不用去熟悉各种相异的平台及数据的结构，亦能进行开发。现有的ETL系统在流程处理过程中，存在流程处理效率低，误差大，血缘关系不易追溯等问题。

发明内容

本发明提供了一种ETL系统的高效流程编排方法和系统，用以解决现有的ETL系统在流程处理过程中，存在流程处理效率低，误差大，血缘关系不易追溯的问题，所采取的的技术方案如下：

一种ETL系统的高效流程编排方法，所述方法包括：

调取所述ETL系统的操作流程中与ETL任务对应的元数据，根据操作流程的逻辑关系，自动将所述元数据编辑为与所述逻辑关系对应的有向无环图；

对所述有向无环图进行批量解析，获得所述有向无环图对应的DAG流程，并对所述DAG流程进行配置；

将所述DAG流程发送至计算引擎，通过所述计算引擎对所述DAG流程进行执行。

进一步地，调取所述ETL系统的操作流程中与ETL任务对应的元数据，根据操作流程的逻辑关系，自动将所述元数据编辑为与所述逻辑关系对应的有向无环图，包括：

对所述ETL系统的操作流程进行解析，获得每个操作流程对应的节点变量，将所述节点变量输入至所述ETL系统中带有索引的数据库；

在所述数据库中，根据所述节点变量及索引，调取所述ETL系统的操作流程中与ETL任务对应的元数据；

遍历所有元数据，识别元数据的数据内容，并根据所述元数据的数据内容体现的逻辑关系，将所述元数据进行逻辑编排，获得所述元数据对应的带有逻辑关系的数据序列；

按照所述数据序列的顺序排序，追溯所述元数据对应的节点；获得按序排列的所述元数据对应的节点；

根据所述数据序列对应的逻辑关系自动将所述各节点组合生成对应的有向无环图。

进一步地，对所述有向无环图进行批量解析，获得所述有向无环图对应的DAG流程，并对所述DAG流程进行配置，包括：

设置多个解析缓冲区域，并设置所述有向无环图的提取时间间隔；

按照预先设置的提取时间间隔，将所述有向无环图提取至所述解析缓冲区域中，在一个解析过程中，每个解析缓冲区域中对应一个有向无环图；

在每个解析缓冲区域内，对所述有向无环图进行解析，获得所述有向无环图包含的各个节点对应的任务内容，以及每个节点之间的任务关系和跳转条件；

利用所述有向无环图包含节点个数以及任务关系计算所述节点与其他有向无环图各节点之间的辐射权重，

将所述有向无环图中所包含的所有节点对应的辐射权重相加求和，获取所述有向无环图对应的总辐射权重值；