[发明专利]基于可视化的数据流处理方法

权利要求书

1.一种基于可视化的数据流处理方法，其特征在于：包括如下步骤：

步骤1、用户配置流数据源信息和流数据源的结构信息，并通过流数据源管理页面将配置好的流数据源信息和流数据源的结构信息提交到数据库；

步骤2、用户在可视化界面上创建流处理任务时，先通过可视化界面选择相应的流处理组件构建流处理任务并填写好各个流处理组件的输入信息，再配置流处理任务相应的执行参数，再将流处理任务、各个流处理组件的输入信息和执行参数提交到流处理任务构建引擎；

所述流处理组件包括SQL编辑器、源选择器、数据过滤器、数据操作器、数据计算器和存储介质选择器；

步骤3、流处理任务构建引擎解析各个流处理组件的输入信息，从而将流处理任务转化为SQL语句；

步骤4、将执行参数、转化为SQL语句的流处理任务和输入信息中的存储信息参数保存到数据库的执行计划表中等待执行引擎调度；

步骤5、执行引擎启动监控线程定时扫描执行计划表，获取流处理任务的执行参数，根据执行参数为待执行的流处理任务添加执行计划；

步骤6、流处理任务根据流数据源信息获取流数据，并根据流数据源的结构信息将流数据进行格式化，执行引擎根据定义的流数据源的结构在内存中为格式化的流数据创建虚拟表，并将格式化的流数据加入到虚拟表中，通过SQL语句查询虚拟表，并根据执行计划定时对虚拟表内的流数据进行执行流处理任务，得到流处理结果；

在执行引擎中为流处理任务创建任务管理表和操作日志表，在任务管理表中实时插入当前流处理任务的进度信息和控制信息进行查看当前流处理任务的进度以及控制当前流处理任务的启动、暂停或关闭；并将当前流处理任务的进度信息记录到操作日志表进行日志监控；

步骤7、根据存储信息参数将流处理结果保存到对应的存储介质中。

2.如权利要求1所述的一种基于可视化的数据流处理方法，其特征在于：所述SQL编辑器用于将流处理任务编辑转化为SQL语句；

所述源选择器用于在获取流数据时，根据流数据源信息选择某个流数据源来获取流数据；

所述数据过滤器用于在执行流处理任务过程中，将流数据进行过滤处理；

所述数据操作器用于在执行流处理任务过程中，将流数据进行分组、投影和关联操作；

所述数据计算器用于在执行流处理任务过程中，根据算法将流数据进行计算处理；

所述存储介质选择器用于在将执行结果保存到对应的存储介质时，根据存储信息参数选择某个存储介质进行存储。

3.如权利要求1所述的一种基于可视化的数据流处理方法，其特征在于：所述步骤7之后还包括：

步骤71、将存储介质中的流处理结果发送至可视化界面，通过可视化界面进行展示，展示的方式包括表格和图表。