[发明专利]基于DAG变换的大数据处理方法

权利要求书

1.基于DAG变换的大数据处理方法，其特征在于包括以下步骤：

步骤一，从实际的业务数据处理场景出发，构建AOV网；

步骤二，将AOV网从图形结构变换为边集数组的图存储结构，所述边集数组采用顶点数组和边数组组成；

步骤三，将边集数组的图存储结构变换为邻接表结构，所述邻接表结构为顶点数组和弧链表组成；

步骤四，对邻接表结构，进行拓扑排序处理，得到拓扑排序后的顶点数组；

步骤五，对顶点数组进行装饰，捕捉各顶点计算处理前后的状态信息；

步骤六，将顶点数组进一步转换为单链表，通过链表分别进行计算逻辑的拼接，最终形成可动态执行的线性数据计算流；

步骤七，通过单链表的指针指向关系，拼接所有链表结点的算子为一个spark或是flink的可执行表达式；

步骤八，对步骤七的处理逻辑进行数据处理，处理期间的过程状态及结果数据落到物理存储以图形化的方式回显到步骤一界面。

2.根据权利要求1所述的基于DAG变换的大数据处理方法，其特征在于：所述步骤一中，结合实际的业务数据处理场景，构建一个具备多种数据处理节点库的图形化界面，拖拽定义节点及节点间的先后关联关系，最终生成AOV网。

3.根据权利要求1所述的基于DAG变换的大数据处理方法，其特征在于：所述步骤一中，通过有向边将节点的前后置依赖关系进行关联，以各数据处理节点作为AOV网的活动顶点，通过数据处理节点间的有向边作为活动顶点间前后关系的弧，组成AOV网。

4.根据权利要求1所述的基于DAG变换的大数据处理方法，其特征在于：所述步骤二中，边集数组的图存储结构为一个标准的边集数组，采用一个顶点数组和一个边数组组成，其中，边集数组的顶点数组记录下来各顶点的数据处理需求，边数组记录下来每条边顶点到顶点的关系。

5.根据权利要求1所述的基于DAG变换的大数据处理方法，其特征在于：所述步骤三中，通过图形化的DAG数据处理场景做第一次的结构化变换，继续将边集数组的图存储结构转换为标准的邻接表结构。

6.根据权利要求1所述的基于DAG变换的大数据处理方法，其特征在于：所述步骤四中，拓扑排序处理过程为：

步骤1)初始化一个用于存放拓扑排序后顶点的数组；

步骤2)利用迭代算法，找出第一个入度为零的顶点，构成源点，放入拓扑数组中；

步骤3)从邻接表结构中，删除步骤2)中找到的源点及其相关联的所有弧；

步骤4)继续重复以上的步骤2)、步骤3)，直到将原邻接表顶点数组中的所有顶点按新顺序放入到步骤1)中创建的数组中。

7.根据权利要求1所述的基于DAG变换的大数据处理方法，其特征在于：所述步骤五中，通过装饰器设计模式，对各数据处理顶点进行装饰，引入顶点计算处理前后的各项信息捕捉，各项信息包括处理前后的实际数据以及该顶点处理的数据总量、异常量、异常信息，各项信息捕捉在数据流实际执行期间落地到物理存储。

8.根据权利要求1所述的基于DAG变换的大数据处理方法，其特征在于：所述步骤六中，将顶点数组转换为单链表，通过链表间的指针指向关联各结点的先后关系，同时抽象出各结点数据计算的函数，最终形成线性数据计算流。

9.根据权利要求1所述的基于DAG变换的大数据处理方法，其特征在于：所述步骤七中，通过单链表的表头作为启动结点，其数据计算函数是整个单链表的执行入口，触发后将所有结点中的算子逻辑，通过单链表的指针指向关系，最终拼接为一个spark或是flink的DAG执行表达式，作为提交到大数据计算平台的最终变换形式。

10.根据权利要求1所述的基于DAG变换的大数据处理方法，其特征在于：所述处理逻辑被包装在一个spark或是flink作业中，提交到大数据计算平台中进行处理。