[发明专利]一种基于Spark的分布式多层大数据分析处理模型

说明书

本发明公开了一种基于Spark的分布式多层大数据分析处理模型，包括表示层(PT)、前端交换层(FST)、后端交换层(BST)、实时业务逻辑层(RBLT)、非实时业务逻辑层(NRBLT)和数据访问层(DAT)。本发明提出了一种基于Spark的分布式多层大数据分析处理模型，可有效降低海量数据的分析速度，且支持系统内各子系统间的异构信息沟通与数据存储。足以满足高频交易市场的短期趋势预测需求。在高频、大数据处理系统中具有较高的应用价值。

技术领域

本发明涉及大数据分析处理领域，更具体地，涉及一种基于Spark的分布式多层大数据分析处理模型。

背景技术

大数据可以在更高的层面、更广的视角、更大的范围帮助用户提高洞察力、提升决策力。但是，一些具有的价值往往隐藏在大数据中,表现出了价值密度极低、分布极其不规律、信息隐藏程度极深、发现有用价值极其困难的鲜明特征。如股票市场的高频交易(HFT)，因为短期的市场趋势和快速的报价，人们很难及时决定何时买进或卖出，对大数据分析的准确性、快速性都有极高的要求。

发明内容

本发明的目的是解决上述一个或多个缺陷，提出一种基于Spark的分布式多层大数据分析处理模型。

为实现以上发明目的，采用的技术方案是：

一种基于Spark的分布式多层大数据分析处理模型，包括表示层(PT)、前端交换层(FST)、后端交换层(BST)、实时业务逻辑层(RBLT)、非实时业务逻辑层(NRBLT)和数据访问层(DAT)；其中表示层(PT)与前端交换层(FST)进行数据传输，前端交换层(FST)的输出端与媒介的输入端连接；媒介与后端交换层(BST)进行数据传输；后端交换层(BST)的输出端与实时业务逻辑层(RBLT)的输入端和非实时业务逻辑层(NRBLT)的输入端连接；实时业务逻辑层(RBLT)的输出端和非实时业务逻辑层(NRBLT)的输出端均与数据访问层(DAT)的输入端连接。

优选的是，所述表示层(PT)从BLT获取数据并使用Facade服务来处理从用户到后端集群的所有请求。

优选的是，所述前端交换层(FST)还包括部署在节点上的前端服务器，所述前端交换层(FST)负责接收web请求，并通过Kafka消息系统将web请求传递至Facade。

优选的是，所述前端服务器为部署了MongoDB的前端服务器，所述MongoDB通过前端交换层(FST)发送至Kafka从而避免进入后端集群。

优选的是，所述后端交换层(BST)从Kafka获取消息，通过BST入口接口进行前端服务器与后端交换层进行信息传输。

优选的是，所述实时业务逻辑层(RBLT)还包括表示节点和对接中心；所述表示节点通过喷口与媒介进行数据传输；所述对接中心通过螺栓与媒介进行数据传输。

优选的是，所述非实时业务逻辑层(NRBLT)用于存储决策策略；其中所述决策策略存储在MongoDB中，利用R程序和Spark RDD即可获得快速访问大型数据集的接口。

优选的是，所述数据访问层(DAT)包括实时数据资源库、交换中心、基线和数据仓库；其中实时数据资源库对交换中心进行实时数据访问。

与现有技术相比，本发明的有益效果是：

本发明提出了一种基于Spark的分布式多层大数据分析处理模型，可有效降低海量数据的分析速度，且支持系统内各子系统间的异构信息沟通与数据存储。足以满足高频交易市场的短期趋势预测需求。在高频、大数据处理系统中具有较高的应用价值。

附图说明

图1为本系统的分布式体系结构图；

图2为实时业务逻辑层结构图；

图3为状态中心拓扑结构图；