[发明专利]分布式流计算的可视化流程处理引擎及其使用方法

说明书

本发明提出一种分布式流计算的可视化流程处理引擎及其使用方法，包括：流处理可视化编排引擎、流处理过程定义文件生成引擎和流处理发布引擎；所述可视化编排引擎包括相耦合的前台可视化界面和后台程序代码；所述前台可视化界面包括桌面和多个标签；每一所述标签与后台程序代码中的同名流式分析框架算子构成一一对应的映射关系；所述流处理过程定义文件生成引擎用于将桌面上建立连接的标签所定义的流程转换为流处理过程定义文件；所述流处理发布引擎包括针对流式分析平台的多种处理单元算子适配器。实现了一套基于可视化拖拽、流程转换、流式处理引擎适配的流式转换引擎实现方法；实现流式分析执行平台的按需选择。

技术领域

本发明涉及分布式流式计算领域，尤其涉及一种基于SPARK STREAMING/FLINK/STORM的分布式流计算的可视化流程处理引擎及其使用方法。

背景技术

流处理是一种重要的大数据处理手段，其主要特点是其处理的数据是源源不断且实时到来的。分布式流处理是一种面向动态数据的细粒度处理模式，基于分布式内存，对不断产生的动态数据进行处理。其对数据处理的快速，高效，低延迟等特性，在大数据处理中发挥越来越重要的作用。

在当前互联网信息化爆炸式发展的当下，有越来越多大数据分析以及需要进行海量并发数据实时处理的场景需求。分布式流计算作为解决这一需求的一种重要技术手段，已经被提出了多种基于实用的架构，如：SPARKTREAMING/FLINK/STORM等。

但是，对于需要采用分布式流计算的具体应用流程，当前都只能选定单一的

流式处理平台后，进行编程操作，再进行执行，其操作过程对技术人员能力要求高，且代码的可复用性差，执行成本高，在大批量具体应用流程需要处理时，会产生很大的工作量。

发明内容

为了解决现有技术存在的缺陷和不足的问题，本发明具体采用以下技术方案：

一种分布式流计算的可视化流程处理引擎，其特征在于，包括：

流处理可视化编排引擎、流处理过程定义文件生成引擎和流处理发布引擎；

所述可视化编排引擎包括相耦合的前台可视化界面和后台程序代码；所述前台可视化界面包括桌面和多个标签，位于桌面上的标签之间可以建立连接；每一所述标签与后台程序代码中的同名流式分析框架算子构成一一对应的映射关系；

所述流处理过程定义文件生成引擎用于将桌面上建立连接的标签所定义的流程转换为流处理过程定义文件；

所述流处理发布引擎包括针对流式分析平台的多种处理单元算子适配器，用于将流处理过程定义文件通过流程解析、执行平台判断、单元处理器适配、应用编译、应用打包、应用发布的步骤将流程发布至一个或多个流式处理平台。

优选地，所述流式分析平台和所述流式处理平台包括STORM和/或SPARK和/或FLINK；所述流式分析框架算子为STORM和/或SPARK和/或FLINK流式分析框架算子。

优选地，所述标签还可与同名自定义算子的封装构成一一对应的映射关系。

优选地，所述标签至少包括：数据接入（source）、转换（transition）、连接（join）、脱敏（masking）、编码（decode）、投射（projection）、分拆（split）、分组（group by）、计数（count）、过滤（filter）、编/解码（encode/decode）、输出（sink）。

以及上述优选分布式流计算的可视化流程处理引擎的使用方法，其特征在于，包括以下步骤：

步骤S1：将具体的业务需求分解为多个业务处理过程，并以流式分析框架已定义的算子为最小单位进行业务处理过程的表达；