[发明专利]基于可视化的数据流处理方法

说明书

本发明提供一种基于可视化的数据流处理方法，包括：1、配置流数据源信息和流数据源的结构信息；2、通过可视化界面选择流处理组件构建流处理任务并填写输入信息，再配置执行参数，提交到流处理任务构建引擎；3、解析输入信息，将流处理任务转化为SQL；4、将执行参数、流处理任务和存储信息参数保存到执行计划表；5、执行引擎扫描执行计划表，获取执行参数，添加执行计划；6、获取流数据，将流数据进行格式化，执行引擎创建虚拟表，将流数据加入到虚拟表中，查询虚拟表，根据执行计划定时执行流处理任务，得到流处理结果；7、将流处理结果保存到存储介质中。本发明用可视化方式创建流处理任务，无需编程，方便观测流处理结果及日志。

技术领域

本发明涉及通讯技术领域，尤其涉及一种基于可视化的数据流处理方法。

背景技术

为了解决日益增长的实时数据处理需求，很多公司正在将其部分大数据基础架构转换为流式处理架构。传统的流数据处理主要通过编程的方式创建任务，对于一个新的任务通常需要经过繁琐的编码、编译、打包的过程。这种方式的工作效率低，可复用性不高，对于非编程人员来说难度颇大。

相比之下，可视化方式创建流处理任务的优势在于不需要编程就能完成，降低使用门槛，方便用户使用和管理，故有本发明的技术方案产生。

发明内容

本发明要解决的技术问题，在于提供一种基于可视化的数据流处理方法，对于不同的流数据源，先将流数据源注册到流处理平台，再对该流数据源中的流数据加上数据结构定义。用户便可像操作关系型表一样操作流数据，可视化创建流处理任务一种是通过SQL方式，另一种是通过拖拽配置方式，本发明采用的是SQL方式，用户在可视化界面中配置并提交任务，系统通过用户提交的配置自动构建流处理任务，用户可以在任务管理、可视化界面中实时查看流处理结果和日志。

本发明的问题是这样实现的：

一种基于可视化的数据流处理方法，包括如下步骤：

步骤1、用户配置流数据源信息和流数据源的结构信息，并通过流数据源管理页面将配置好的流数据源信息和流数据源的结构信息提交到数据库；

步骤2、用户在可视化界面上创建流处理任务时，先通过可视化界面选择相应的流处理组件构建流处理任务并填写好各个流处理组件的输入信息，再配置流处理任务相应的执行参数，再将流处理任务、各个流处理组件的输入信息和执行参数提交到流处理任务构建引擎；

步骤3、流处理任务构建引擎解析各个流处理组件的输入信息，从而将流处理任务转化为SQL语句；

步骤4、将执行参数、转化为SQL语句的流处理任务和输入信息中的存储信息参数保存到数据库的执行计划表中等待执行引擎调度；

步骤5、执行引擎启动监控线程定时扫描执行计划表，获取流处理任务的执行参数，根据执行参数为待执行的流处理任务添加执行计划；

步骤6、流处理任务根据流数据源信息获取流数据，并根据流数据源的结构信息将流数据进行格式化，执行引擎根据定义的流数据源的结构在内存中为格式化的流数据创建虚拟表，并将格式化的流数据加入到虚拟表中，通过SQL语句查询虚拟表，并根据执行计划定时对虚拟表内的流数据进行执行流处理任务，得到流处理结果；

步骤7、根据存储信息参数将流处理结果保存到对应的存储介质中。

进一步地，所述流处理组件包括SQL编辑器、源选择器、数据过滤器、数据操作器、数据计算器和存储介质选择器；

所述SQL编辑器用于将流处理任务编辑转化为SQL语句；

所述源选择器用于在获取流数据时，根据流数据源信息选择某个流数据源来获取流数据；

所述数据过滤器用于在执行流处理任务过程中，将流数据进行过滤处理；