[发明专利]一种ETL系统的高效流程编排方法和系统

权利要求书

1.一种ETL系统的高效流程编排方法，其特征在于，所述方法包括：

调取所述ETL系统的操作流程中与ETL任务对应的元数据，根据操作流程的逻辑关系，自动将所述元数据编辑为与所述逻辑关系对应的有向无环图；

对所述有向无环图进行批量解析，获得所述有向无环图对应的DAG流程，并对所述DAG流程进行配置；

将所述DAG流程发送至计算引擎，通过所述计算引擎对所述DAG流程进行执行；

对所述有向无环图进行批量解析，获得所述有向无环图对应的DAG流程，并对所述DAG流程进行配置，包括：

设置多个解析缓冲区域，并设置所述有向无环图的提取时间间隔；

按照预先设置的提取时间间隔，将所述有向无环图提取至所述解析缓冲区域中，在一个解析过程中，每个解析缓冲区域中对应一个有向无环图；

在每个解析缓冲区域内，对所述有向无环图进行解析，获得所述有向无环图包含的各个节点对应的任务内容，以及每个节点之间的任务关系和跳转条件；

利用所述有向无环图包含节点个数以及任务关系计算所述节点与其他有向无环图各节点之间的辐射权重，

将所述有向无环图中所包含的所有节点对应的辐射权重相加求和，获取所述有向无环图对应的总辐射权重值；

根据所述总辐射权重值的大小以及流程配置规则对所述有向无环图进行DAG流程配置；

其中，利用所述有向无环图包含节点个数以及任务关系计算所述节点与其他有向无环图各节点之间的辐射权重，包括：

利用如下公式，获取所述辐射权重：

其中，P表示所述有向无环图包含的α个节点，与其他有向无环图之间的辐射权重；G_i表示所述有向无环图的第i个节点与其他有向无环图之间的辐射度；n表示与所述有向无环图中每个节点有任务关系的其他有向无环图的个数；G₀表示所述有向无环图的每个节点对应的辐射度平均值；G_max表示所述有向无环图的每个节点对应的辐射度最大值；G_min表示所述有向无环图的每个节点对应的辐射度最小值；h表示所述有向无环图中的节点与存在任务关系的一个其他有向无环图之间，所述其他有向无环图中，与所述节点之间有直接任务关系的节点个数；α表示所述有向无环图中存在的节点个数；β表示所述其他有向无环图中存在的节点个数。

2.根据权利要求1所述方法，其特征在于，调取所述ETL系统的操作流程中与ETL任务对应的元数据，根据操作流程的逻辑关系，自动将所述元数据编辑为与所述逻辑关系对应的有向无环图，包括：

对所述ETL系统的操作流程进行解析，获得每个操作流程对应的节点变量，将所述节点变量输入至所述ETL系统中带有索引的数据库；

在所述数据库中，根据所述节点变量及索引，调取所述ETL系统的操作流程中与ETL任务对应的元数据；

遍历所有元数据，识别元数据的数据内容，并根据所述元数据的数据内容体现的逻辑关系，将所述元数据进行逻辑编排，获得所述元数据对应的带有逻辑关系的数据序列；

按照所述数据序列的顺序排序，追溯所述元数据对应的节点；获得按序排列的所述元数据对应的节点；

根据所述数据序列对应的逻辑关系自动将所述各节点组合生成对应的有向无环图。

3.根据权利要求1所述方法，其特征在于，根据所述总辐射权重值的大小以及流程配置规则对所述有向无环图进行DAG流程配置，包括：

将解析好并获得总辐射权重值的有向无环图发送至配置缓冲区；

在所述配置缓冲区中，按照总辐射权重值从高到低的顺序，对所述有向无环图进行排列，完成排列后，获得有向无环图列表；

设置DAG流程配置时间间隔，所述DAG流程配置时间间隔满足如下条件：

其中，T表示DAG流程配置时间间隔；T₁表示所述有向无环图的提取时间间隔，T₂表示每个有向无环图进行解析的平均时长；

根据设置好的DAG流程配置时间间隔，按照所述有向无环图列表顺序依次对所述有向无环图进行DAG流程配置。