[发明专利]大数据流程建模分析引擎

权利要求书

1.一种大数据流程建模分析引擎，其特征在于：包括平台层、任务调度层和界面层；

所述平台层完成资源调度、分配工作；

所述任务调度层包括校验模块、解析模块、任务调度模块和算法包；其中，所述校验模块提供数据分析流程是否符合流程设计规则的校验功能，符合校验规则的部分，可以进入解析模块；所述解析模块提供将界面层生成的数据分析流程转换为可执行的数据分析流程任务的解析功能；所述任务调度模块根据解析模块生成的完整的数据分析流程，调度所述算法包中的各类数据分析算法接口，组成完整的可运行的分析流程任务程序，并调度底层资源进行数据分析程序的执行；

所述界面层：提供数据分析建模操作的平台界面，每一个数据分析的算法包均在界面上以唯一标识的可拖拽式组件存在，用户通过界面操作各算法组件，并以有向线条连接，表示数据分析流程方向和步骤，组合成完整的业务数据分析算法模型，通过界面的启动功能运行后台任务调度模块和算法包，调度资源完成数据的快速分析和处理。

2.根据权利要求1所述的大数据流程建模分析引擎，其特征在于：所述的数据分析流程均通过web页面的建模操作台进行建模，通过可拖拽的算法包与有向连接线的组合形成有向无环的数据分析模型。

3.根据权利要求1所述的大数据流程建模分析引擎，其特征在于：所述解析模块将整个界面层生产的数据分析流程模型转化为一个DAG有向无环图，由解析模块解析这个DAG图，生成完整的spark数据分析流程。

4.根据权利要求1所述的大数据流程建模分析引擎，其特征在于：所述解析模块读入整个前台页面生成的xml文档，构建一个驻留内存的树结构，使用DOM接口来操作这个树结构。

5.根据权利要求1所述的大数据流程建模分析引擎，其特征在于：所述解析模块是根据xml，将各步骤解析成有向无环图，end表示终结流程。

6.根据权利要求1所述的大数据流程建模分析引擎，其特征在于：所述任务调度模块调度底层资源使用深度优先搜索算法，其步骤如下：

(1)获取任务队列；

(2)递归拿到任务动作节点；

(3)调用ETL工厂类执行任务节点，返回为RDD，直到执行到end动作，表示节点运行成功。

7.根据权利要求1所述的大数据流程建模分析引擎，其特征在于：所述平台层以Hadoop平台为主；所述底层资源包括Hadoop平台中的spark、yarn和hdfs。

8.根据权利要求1所述的大数据流程建模分析引擎，其特征在于：所述解析模块中采用dom4j解析文件。