[发明专利]一种基于大数据流批一体化处理系统及其工作方法

权利要求书

1.一种基于大数据流批一体化处理系统，其特征在于，包括用于后端处理数据的联机分析处理模块OLAP以及用于前端服务的联机事务处理模块OLTP，所述联机分析处理模块OLAP与联机事务处理模块OLTP相互连接；所述联机分析处理模块OLAP包括数据转发服务单元、后台管理单元和数据仓库及计算单元，所述联机事务处理模块OLTP包括分布式存储单元、业务应用单元以及客户端；

所述数据转发服务单元、后台管理单元、数据仓库及计算单元、分布式存储单元以及业务应用单元通过分布式消息列队单元相互通信连接，且所述数据仓库及计算单元分别与后台管理单元通信以及分布式存储单元通信连接；

所述数据转发服务单元用于获取外部系统和业务应用单元传输的待处理数据，并将待处理数据传输接入分布式消息列队单元中，所述待处理数据为流数据，所述流数据用于表征实时数据；

所述后台管理单元用于配置历史数据、数据处理算法以及数据处理参数，将历史数据以及数据处理算法直接传输至数据仓库及计算单元中，以实现数据以及数据处理算法的动态扩展；并将数据处理参数通过分布式消息列队单元下发至数据仓库及计算单元，以实现数据处理参数的动态配置；获取数据仓库及计算单元对数据的分析结果，并将分析结果可视化；

所述数据仓库及计算单元用于获取分布式消息列队单元中的待处理数据以及数据处理参数，结合后台管理单元下发的数据处理算法对待处理数据进行流处理分析，得到流数据分析结果；以及获取数据仓库及计算单元中存储的历史数据，根据数据处理参数以及数据处理算法对历史数据进行批处理分析，得到批数据分析结果；所述流数据分析结果以及批数据分析结果共同作为分析结果，且将分析结果传输至后台管理单元以及分布式存储单元中；

所述分布式存储单元用于存储分析结果，并将该分析结果通过分布式存储单元传输至业务应用单元；

所述业务应用单元用于承载系统业务，将分布式存储单元中的数据分析结果传输至客户端。

2.根据权利要求1所述的基于大数据流批一体化处理系统，其特征在于，获取外部系统和业务应用单元传输的待处理数据，包括：通过网络通信、串口通信以及卫星通信获取外部系统和业务应用单元传输的待处理数据。

3.根据权利要求1所述的基于大数据流批一体化处理系统，其特征在于，所述后台管理单元上还设置有Mysql数据库，所述后台管理单元响应于人机交互产生的数据处理参数传输至分布式消息列队单元中或者存储于Mysql数据库中，待数据仓库及计算单元对待处理数据进行处理时，调度Mysql数据库中的数据处理参数进行处理。

4.根据权利要求3所述的基于大数据流批一体化处理系统，其特征在于，所述数据仓库及计算单元包括Hadoop集群、Hbase集群、Hive集群以及Flink集群；

所述Hadoop集群利用其分布式文件系统HDFS存储非结构化数据；所述Hbase集群存储结构化主题数据；所述Flink集群对分布式文件系统HDFS中的非结构化数据、Hbase集群中的结构化主题数据以及分布式消息列队单元传输的待处理数据进行分析处理，得到分析结果，并将该分析结果分别存储至后台管理单元的Mysql数据库中或者分布式存储单元中；所述Hive集群对Hbase集群中的结构化主题数据进行分析处理，得到分析结果，并将该分析结果分别存储至后台管理单元的Mysql数据库中或者分布式存储单元中。

5.根据权利要求3所述的基于大数据流批一体化处理系统，其特征在于，所述分布式消息列队单元采用Kafka集群，以实现分布式消息队列、满足数据高吞吐和完成数据缓冲。

6.根据权利要求3所述的基于大数据流批一体化处理系统，其特征在于，所述分布式存储单元包括分布式数据库、FastDFS集群以及Redis集群；所述分布式数据库包括MyCat集群以及Mysql集群，以实现分布式数据库以及高并发提供扩充支持。

7.根据权利要求3所述的基于大数据流批一体化处理系统，其特征在于，所述业务应用单元包括微服务子单元以及负载均衡单元，所述负载均衡单元用于实现多用户的负载均衡访问，所述微服务子单元用于承载系统业务，并将访问获取的数据传输给客户端。