[发明专利]一种基于大数据流批一体化处理系统及其工作方法

说明书

本申请公开了一种基于大数据流批一体化处理系统及其工作方法，该系统的工作方法为：获取待处理数据，数据来源于网络、业务应用单元或者存储于数据仓库及计算单元中的历史数据，通过分布式列队消息传输待处理数据至数据仓库及计算单元，同时后台管理系统传输处理参数；数据仓库及计算单元获取待处理数据，并根据处理参数进行分析，得到分析结果；将分析结果存储至分布式存储单元中；业务应用单元根据客户端的请求，将分布式存储服务中的分析结果展示给客户端。

技术领域

本申请涉及大数据领域，具体涉及一种基于大数据流批一体化处理系统及其工作方法。

背景技术

在信息技术高速发展的今天，各个行业几乎都与数字化接轨，我们也迎来了数字经济时代。而数字的时代也意味着数据的时代，随着数字时代深入发展，发展过程中所产生数据的种类成倍增长，数据的量级更是成指数级增长，为了利用这些数据更好的推动社会发展，就需要对这些数据进行处理、存储、分析。然而数据的规模对数据存储、处理都带来了一定程度的挑战。

大数据行业刚兴起时数据处理存储，大都依赖HDFS(Hadoop Distributed FileSystem，分布式文件系统)与MapReduce(分布式运算程序的编程框架)，数据处理的形式以批处理为主。随着行业的发展，并结合应用实际，对于数据的处理形式已经不限于批处理，而是引入了新的数据处理思路即流处理，当下流行的流处理框架(如Spark-streaming以及Flink)都是一些比较成熟的流处理框架。数据存储也由单一关系型数据库，演化出Nosql数据库、键值存储数据库、对象存储数据库以及时序数据库等等。如今数据来源广泛，形式多样，有效的结合批处理与流处理的方法，才能够满足日益增长的需求，

未来随着社会发展，将会产生更多数据，而单靠这些数据的表象我们无法发现其中蕴藏着的重要信息，只有通过分析建模对数据进行处理才可以得到我们想要的结果，因此需要一个大数据系统设计实现的模型，来实现这些数据的处理分析，进一步发挥这些数据资产的作用，为社会发展赋能。基于这个模型，可以迅速搭建起一个可靠的大数据存储、处理、可视化的系统，通过这个系统模型可以融合处理相关领域数据，也可以动态扩展数据处理算法，同时满足实时数据处理及历史数据的处理，将系统功能和数据作用发挥到极致。

由此，本申请提出一种基于大数据流批一体化处理系统及其工作方法，可以利用此方法设计实现相关领域的大数据存储处理系统，便于数据拥有者实现自己的数据决策中心。

发明内容

本申请的目的在于提供一种基于大数据流批一体化处理系统及其工作方法，解决了现有技术中对大数据的流处理与批处理无法有效结合的问题，对数据收集、处理、存储以及展示流程进行设计优化拓展，使得大数据应用系统开发更加规范快捷。

本申请通过下述技术方案实现：

第一方面，本申请提供一种基于大数据流批一体化处理系统，包括用于后端处理数据的联机分析处理模块OLAP以及用于前端服务的联机事务处理模块OLTP，所述联机分析处理模块OLAP与联机事务处理模块OLTP相互连接；所述联机分析处理模块OLAP包括数据转发服务单元、后台管理单元和数据仓库及计算单元，所述联机事务处理模块OLTP包括分布式存储单元、业务应用单元以及客户端；

所述数据转发服务单元、后台管理单元、数据仓库及计算单元、分布式存储单元以及业务应用单元通过分布式消息列队单元相互通信连接，且所述数据仓库及计算单元分别与后台管理单元通信以及分布式存储单元通信连接；

所述数据转发服务单元用于获取外部系统和业务应用单元传输的待处理数据，并将待处理数据传输接入分布式消息列队单元中，所述待处理数据为流数据，所述流数据用于表征实时数据；