[发明专利]基于DAG变换的大数据处理方法

说明书

本发明涉及一种基于DAG变换的大数据处理方法，其从实际的业务数据处理场景出发，构建AOV网并将AOV网从图形结构变换为边集数组的图存储结构，通过捕捉各顶点计算处理前后的状态信息通过单链表的指针指向关系，拼接所有链表结点的算子为一个spark或是flink的可执行表达式。由此，基于可视图形化的方式将复杂的数据处理场景AOV网化。适用于多种业务领域，在进行数据处理时可以轻松实现抽象到具体的转换。支持变换所有复杂DAG图结构为线性单链表结构，全覆盖标准AOV网特性的数据处理场景。拥有丰富类型并可扩展的数据处理节点库，可满足图形化界面组件在AOV网的应用。

技术领域

本发明涉及一种大数据处理方法，尤其涉及一种基于DAG变换的大数据处理方法。

背景技术

就现有的数据处理尤其是大数据处理来看，基于DAG结构进行数据处理的方式是大数据领域的一个不可或缺的组成部分。与简单的MapReduce处理任务方式不同，DAG是一个可以进行包含数据过滤、数据填充、数据转换等多种数据处理类型的组合且流程高度复杂的计算作业。

同时，DAG结构的作业场景其实普遍存在于很多领域，但是没有一个能够帮助作业人员从比较形象的可视界面出发去制定一个通用的DAG作业图，并且自动进行转换处理的方法，很难将领域中的DAG流程场景转化为一个可以自动运行计算的数据处理方法。

随着大数据技术的慢慢普及，越来越多的业务场景可以被转换到自动化的大数据平台进行分发处理。同时，在更多的领域，也存在越来越多简单或是复杂的业务场景，都希望能够转换到大数据计算平台进行处理，而这其中的大部分业务领域的抽象流程，都是一个标准的AOV网(即有向无环图DAG的一种)。

但是，到目前为止，还没有一个较完备的基于DAG的大数据处理方法，能够从图形化用户界面进行业务作业构建，再进行多道数据结构变换处理，并对接到多类型的数据计算平台(如spark或flink)，从而完成整个复杂业务的大数据处理。

并且，结合现有的用于大数据分析处理的开源项目来看，有传统的Hadoop-mapreduce，也有近几年比较主流的Tez、Spark等DAG批处理引擎，包括目前主流的用于处理实时流式数据的flink计算引擎。数据的处理流程抽象后总是会偏向于一个DAG，其实正是因为我们各领域的业务流转场景，它就是一个完整的DAG。但是从领域业务流程到实际最后一环的数据处理，目前不管是上述的开源大数据项目，亦或是一些图形化工具，都无法实现将一个数据处理场景从业务抽象开始，经过多层转换处理，最终可对接到多类型大数据平台进行数据处理。

有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种基于DAG变换的大数据处理方法，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于DAG变换的大数据处理方法。

本发明的基于DAG变换的大数据处理方法，其包括以下步骤：

步骤一，从实际的业务数据处理场景出发，构建AOV网；

步骤二，将AOV网从图形结构变换为边集数组的图存储结构，所述边集数组采用顶点数组和边数组组成；

步骤三，将边集数组的图存储结构变换为邻接表结构，所述邻接表结构为顶点数组和弧链表组成；

步骤四，对邻接表结构，进行拓扑排序处理，得到拓扑排序后的顶点数组；

步骤五，对顶点数组进行装饰，捕捉各顶点计算处理前后的状态信息；

步骤六，将顶点数组进一步转换为单链表，通过链表分别进行计算逻辑的拼接，最终形成可动态执行的线性数据计算流；

步骤七，通过单链表的指针指向关系，拼接所有链表结点的算子为一个spark或是flink的可执行表达式；