[发明专利]一种基于广度优先搜索算法的ETL作业流程分析方法

权利要求书

1.一种基于广度优先搜索算法的ETL作业流程分析方法，其特征在于：依据各作业之间的先后加工逻辑关系，构造一个有向无环图，该有向无环图由一组节点和一组有方向的边构成，每个节点代表一个ETL作业或者是一个作业中的一步，每一条边代表从一个节点到另一个节点的数据流，使用广度优先搜索算法遍历整个ETL作业工作流定义的有向无环图，根据ETL作业节点的依赖关系，对每个ETL作业节点进行拓扑排序，并对ETL作业节点进行分层，然后根据具体的运行环境来决定同一层中的ETL作业节点是并行执行还是根据拓扑排序的结果串行执行。

2.根据权利要求1所述的基于广度优先搜索算法的ETL作业流程分析方法，其特征在于：基于广度优先搜索算法的分析方法分成三个步骤:

（1）分析计算；

（2）分层；

（3）分层执行。

3.根据权利要求2所述的基于广度优先搜索算法的ETL作业流程分析方法，其特征在于：步骤（1）中的分析计算是将根节点的层设置成1，从根节点出发，每经过一个节点层数加1，遍历所有路径，保留每个节点的最大层数。

4.根据权利要求3所述的基于广度优先搜索算法的ETL作业流程分析方法，其特征在于：步骤（2）中的分层是根据各节点的最大层数，将层数相同的节点划到同一层。

5.根据权利要求4所述的基于广度优先搜索算法的ETL作业流程分析方法，其特征在于：步骤（3）中的分层执行是指：根据分层，ETL作业流程引擎按照由低层到高层的执行路径依次运行各层的ETL作业节点，并根据具体的运行环境来决定同一层级的ETL作业节点是并行还是根据拓扑排序的结果串行执行。

6.根据权利要求1所述的基于广度优先搜索算法的ETL作业流程分析方法，其特征在于：广度优先搜索算法是从根节点开始，沿着树的宽度遍历树的节点,如果所有节点均被访问，则算法中止; 使用一个队列来存放未被访问的节点，先将根节点放入队列，后从队列中取出第一个节点一并将该节点一移出对列，再将与该节点相邻的所有未被访问的直接子节点加入队列，然后从队列中取出第一个节点二并将该节点二移出队列，重复以上步骤，直至队列为空为止。