[发明专利]一种基于Storm的流数据实时智能化处理框架

摘要

本发明涉及一种基于Storm的流数据实时智能化处理框架，包括如下步骤：需求配置层完成前端数据结构及过滤条件的设定；数据结构解析层完成包括SQL指令等的配置文件中数据的解析；算子功能拓扑层完成Storm的Topology的功能算子解析；系统完成层完成代码生成及编译打包等功能，并把最终的Topology提交执行；数据画像层完成结果数据在数据仓库中的存储，及数据画像的实时生成并展示给决策者。本发明的实施具有以下有益效果：能够很好地与上层决策者交互，并依照复杂数据处理功能的设定动态智能的生成相关Topology，提高代码复用性，并使得开发周期和成本大大降低，提升系统智能化和可执行效率，并实时的展示用户画像，为前端决策人员的决策提供快速且强有力的支持。

主权项

1.一种基于Storm的流数据实时智能化处理框架，其特征在于，包括如下步骤：S10.需求配置层完成前端数据结构及过滤条件的设定，具体包括：S101.指定系统参数，所述系统参数包括拓扑名称、运行方式和执行时间，所述运行方式包括单机模式或集群模式；S102.指定数据缓冲队列的具体IP地址及端口、队列名称信息；将数据的结构进行定义，包括数据字段的名称，字段类型信息；S103.根据用户的需求，指定数据的SQL过滤方法，通过SQL解析工具将用户需求转换为具体SQL指令；S104.指定结果数据在HBase数据仓库中的缓存格式，并指定其在数据画像中的展示方法；S20.数据结构解析层完成包括数据结构及SQL指令的配置文件中数据的解析，具体包括：S201.后端根据接收到的配置文件，设定数据源的数据结构，解析生成相应的JavaBean的结构；S202.使用SQL解析器解析所述配置文件中各个算子的可能的中间数据的结构，并据此结构生成相应的JavaBean结构，使得在具体解析算子功能时更容易的缓存数据及向下传递；S30.算子功能拓扑层完成Storm的Topology的功能算子解析，具体包括：S301.根据配置文件中的功能配置信息，包括算子的名称、并行度、数据分发方式及具体的操作，使用SQL解析器解析生成相应的功能算子，完成MDA中PSM阶段的转化；S302.按照拓扑顺序最优化算法给功能算子指定特定的顺序，将Topology的整体复杂度降到最低；S40.系统完成层完成代码生成及编译打包的功能，并把最终的Topology提交执行；S50.数据画像层完成结果数据在数据仓库中的存储，及数据画像的实时生成并展示给决策者。