[发明专利]基于可视化的数据流处理方法

摘要

本发明提供一种基于可视化的数据流处理方法，包括：1、配置流数据源信息和流数据源的结构信息；2、通过可视化界面选择流处理组件构建流处理任务并填写输入信息，再配置执行参数，提交到流处理任务构建引擎；3、解析输入信息，将流处理任务转化为SQL；4、将执行参数、流处理任务和存储信息参数保存到执行计划表；5、执行引擎扫描执行计划表，获取执行参数，添加执行计划；6、获取流数据，将流数据进行格式化，执行引擎创建虚拟表，将流数据加入到虚拟表中，查询虚拟表，根据执行计划定时执行流处理任务，得到流处理结果；7、将流处理结果保存到存储介质中。本发明用可视化方式创建流处理任务，无需编程，方便观测流处理结果及日志。

主权项

1.一种基于可视化的数据流处理方法，其特征在于：包括如下步骤：步骤1、用户配置流数据源信息和流数据源的结构信息，并通过流数据源管理页面将配置好的流数据源信息和流数据源的结构信息提交到数据库；步骤2、用户在可视化界面上创建流处理任务时，先通过可视化界面选择相应的流处理组件构建流处理任务并填写好各个流处理组件的输入信息，再配置流处理任务相应的执行参数，再将流处理任务、各个流处理组件的输入信息和执行参数提交到流处理任务构建引擎；步骤3、流处理任务构建引擎解析各个流处理组件的输入信息，从而将流处理任务转化为SQL语句；步骤4、将执行参数、转化为SQL语句的流处理任务和输入信息中的存储信息参数保存到数据库的执行计划表中等待执行引擎调度；步骤5、执行引擎启动监控线程定时扫描执行计划表，获取流处理任务的执行参数，根据执行参数为待执行的流处理任务添加执行计划；步骤6、流处理任务根据流数据源信息获取流数据，并根据流数据源的结构信息将流数据进行格式化，执行引擎根据定义的流数据源的结构在内存中为格式化的流数据创建虚拟表，并将格式化的流数据加入到虚拟表中，通过SQL语句查询虚拟表，并根据执行计划定时对虚拟表内的流数据进行执行流处理任务，得到流处理结果；步骤7、根据存储信息参数将流处理结果保存到对应的存储介质中。