[发明专利]一种基于Storm的流数据实时智能化处理框架

说明书

本发明涉及一种基于Storm的流数据实时智能化处理框架，包括如下步骤：需求配置层完成前端数据结构及过滤条件的设定；数据结构解析层完成包括SQL指令等的配置文件中数据的解析；算子功能拓扑层完成Storm的Topology的功能算子解析；系统完成层完成代码生成及编译打包等功能，并把最终的Topology提交执行；数据画像层完成结果数据在数据仓库中的存储，及数据画像的实时生成并展示给决策者。本发明的实施具有以下有益效果：能够很好地与上层决策者交互，并依照复杂数据处理功能的设定动态智能的生成相关Topology，提高代码复用性，并使得开发周期和成本大大降低，提升系统智能化和可执行效率，并实时的展示用户画像，为前端决策人员的决策提供快速且强有力的支持。

技术领域

本发明涉及大数据中流式数据智能化处理领域，特别是涉及一种基于Storm的智能完成流式数据处理的大数据处理平台。

背景技术

在当今知识经济快速发展的时代，数据的获取及分析越来越成为理解社会及人的动向的法宝。随着大量PC和移动客户端应用程序的使用，大量的数据的获得成为可能。因此，人们的焦点也越来越集中在如何能够快速的进行数据的查询及分析上。在日益膨胀的海量数据中，流数据占有相当大的比重。流数据的处理也得到了人们越来越多的关注。流数据具有数据量大、速度快，同时持续到达的特点，这使得很多传统意义上的数据库技术和批处理技术难以进行统计和分析。比如，在诸如Hadoop的批处理框架中，如果要处理从某个数据源发来的持续不断的流数据的话，如果没有特别适合的框架上的改进，处理起来是相当困难的。适时而生，Twitter在处理大量流式数据时，提出了一种全新的框架Storm，实现了处理流式数据上的一种全新的处理方法。同时，Storm在与类似的其他流数据处理框架的比较中，其性能也比其他框架更优。

Storm为大数据的实时计算提供了一套良好的解决方案。但是，在特定业务环境下，当实现完一个Storm的Topology并提交执行后，倘若需要更改输入数据的数据结构和计算过程的复杂逻辑时，需要开发者重新实现一套新的Storm的Topology，这样就降低了代码的可复用性，更改了业务逻辑，同时是一个纷繁而复杂的过程。因此，在决策者需要对经常变换的大量流式数据进行统计并实时决策时，这样的缺点便显露无疑。

为此，在Storm系统中引入MDA（Model Driven Architecture，模型驱动框架）概念，将决策者的需求在上层进行抽象，生成相应的PIM（Platform Independent Model，平台独立模型），然后实现PIM到PSM（Platform Specific Model）的转换，再由PSM生成底层代码，这样就实现了由平台无关的上层逻辑到平台相关的底层代码之间的转换，能很好地适应变化多样的上层数据源和数据处理逻辑，实现代码工作的简化。

同时，对于上层的决策者来说，在进行数据查询工作时，复杂的代码操作使得他们和数据之间产生了一定的隔阂，不易对数据进行良好的操作与分析。

发明内容

为解决以上问题，本发明提供了一种基于Storm的流数据实时智能化处理框架，通过上层用户的选择，智能化的将Storm的Topology生成并进行拓扑优化，完成海量流数据的快速处理。

为实现上述目的，本发明的技术方案为：

一种基于Storm的流数据实时智能化处理框架，包括如下步骤：

S10. 需求配置层完成前端数据结构及过滤条件的设定；

S20. 数据结构解析层完成包括数据结构及SQL指令的配置文件中数据的解析；

S30. 算子功能拓扑层完成Storm的Topology的功能算子解析；

S40. 系统完成层完成代码生成及编译打包的功能，并把最终的Topology提交执行；