[发明专利]无环数据分析队列的形成方法及包含其的大数据支撑平台

说明书

本发明提供了一种无环数据分析队列的形成方法及包含其的大数据支撑平台，其中，无环数据分析队列的形成方法包括以下步骤：S1、用户通过用户终端构建任务流程并填写任务流程使用的每个算子参数；S2、服务器接收来自用户终端的任务流程及任务流程使用的每个算子参数；S3、服务器建立邻接矩阵M：设任务流程为一有向图G，有向图G的节点处为任务流程中算子所在处，任务流程中算子的数量为N，建立一个N*N的邻接矩阵；S4、环判断。该无环数据分析队列的形成方法及包含其的大数据支撑平台解决现有技术中用户建立任务流程存在闭合环而导致进行底层调用是出现死循环现象的问题。

技术领域

本发明涉及数据分析平台，具体涉及一种无环数据分析队列的形成方法及包含其的大数据支撑平台。

背景技术

中国专利中公开了一种公开号为CN 105550268 B大数据流程建模分析引擎，该大数据流程建模分析引擎包括平台层、任务调度层和界面层；所述平台层完成资源调度、分配工作；所述任务调度层包括校验模块、解析模块、任务调度模块和算法包；其中，所述校验模块提供数据分析流程是否符合流程设计规则的校验功能，符合校验规则的部分，可以进入解析模块；所述解析模块提供将界面层生成的数据分析流程转换为可执行的数据分析流程任务的解析功能；所述任务调度模块根据解析模块生成的完整的数据分析流程，调度所述算法包中的各类数据分析算法接口，组成完整的可运行的分析流程任务程序，并调度底层资源进行数据分析程序的执行；所述界面层：提供数据分析建模操作的平台界面，每一个数据分析的算法包均在界面上以唯一标识的可拖拽式组件存在，用户通过界面操作各算法组件，并以有向线条连接，表示数据分析流程方向和步骤，组合成完整的业务数据分析算法模型，通过界面的启动功能运行后台任务调度模块和算法包，调度资源完成数据的快速分析和处理。虽然该大数据流程建模分析引擎能一定程度上高效、快速地处理大量数据，但是该大数据流程建模分析引擎存在的缺点为：

该大数据流程建模分析引擎是针对用户创建数据分析流程图，然后平台自动生成与数据分析流程图对应的算子队列，然后用户输入待分析数据，待分析数据经过算子队列中每个算子一一处理，最终得到分析数据。但是，用户创建数据分析流程图过程中，极有可能存在闭合的环，因此在对待分析数据进行处理时，到达闭合的环内计算时，会出现死循环计算的情况，占用大量的CPU计算空间，使得其他计算缓慢。

发明内容

本发明提供了一种无环数据分析队列的形成方法及包含其的大数据支撑平台，解决现有技术中用户建立任务流程存在闭合环而导致进行底层调用是出现死循环现象的问题。

为实现上述目的，本发明采用了如下的技术方案：

一种无环数据分析队列的形成方法，包括以下步骤：

S1、用户通过用户终端构建任务流程并填写任务流程使用的每个算子参数；

S2、服务器接收来自用户终端的任务流程及任务流程使用的每个算子参数；

S3、服务器建立邻接矩阵M：

S31、设任务流程为一有向图G，有向图G的节点处为任务流程中算子所在处，任务流程中算子的数量为N，建立一个N*N的邻接矩阵；

S32、对每一对一算子到另一算子之间有有向边进行如下处理：设一算子i₁到另一算子j₁之间有有向边，则在邻接矩阵M中第i₁行第j₁列的值被赋为1；对每一算子到另一算子之间无有向边进行如下处理：设一算子i₂到另一算子j₂之间无有向边，则在邻接矩阵M中第i₂行第j₂列的值被赋为0；

S4、环判断：

S41、找出M中第i₃列上的数值全为0，并找出第i₃列所对应的算子opi₃；