[发明专利]用于处理实时数据流的系统框架及实时数据流处理方法

说明书

本发明实施例公开了一种用于处理实时数据流的系统框架及方法，系统框架包括：分布式发布订阅消息系统，用于接收实时数据流，并将其推入文件夹；数据传输系统，用于监听文件夹，并在文件夹中有实时数据流进入时，将实时数据流推送到HDFS；HDFS，用于对实时数据流进行清洗，以得到目标数据，并将其推送至存储系统进行存储以供后端查询。实施本发明实施例，搭建了一种新的实时数据流系统框架，其包括分布式发布订阅消息系统、数据传输系统、HDFS及存储系统，通过该系统框架可对实时数据流进行处理及存储，其框架简单，所需要的服务器本身配置不高，降低了成本，且数据处理逻辑简单可行。

技术领域

本发明涉及计算机软件技术领域，具体涉及一种用于处理实时数据流的系统框架及实时数据流处理方法。

背景技术

随着大数据时代的到来，数据价值越来越被人们重视。

目前现有的大数据技术栈基本都是围绕着Hadoop生态圈组成的大数据系统。当我们要建立一套规范的大数据系统，首先就是解决数据存储问题，为了保证数据的完整性和灵活性，存储数据应该本着“多份存储，紧密联系”的原则。现有技术存在的问题在于一旦某个组件所在的服务器宕机，就会出现数据丢失或者系统瘫痪的问题。存在这些问题的原因无外乎物理条件，比如服务器内存不够支持，或者服务器温度过高引发应用执行缓慢。因此可通过更高的服务器配置来解决数据存储问题，但导致了成本的增加。

发明内容

针对现有技术中的技术缺陷，本发明实施例的目的在于提供一种用于处理实时数据流的系统框架及实时数据流处理方法。

为实现上述目的，第一方面，本发明实施例提供了一种用于处理实时数据流的系统框架，包括分布式发布订阅消息系统、数据传输系统、Hadoop分布式文件系统及存储系统；

所述分布式发布订阅消息系统用于接收实时数据流，并将所述实时数据流推入文件夹；

所述数据传输系统用于监听所述文件夹，并在所述文件夹中有实时数据流进入时，将所述实时数据流推送到所述Hadoop分布式文件系统；

所述Hadoop分布式文件系统用于对所述实时数据流进行清洗，以得到目标数据，并将所述目标数据推送至所述存储系统进行存储以供后端查询。

在本申请某些优选实施方式中，所述实时数据流包括在线数据和离线数据，所述分布式发布订阅消息系统还用于通过Hadoop的并行加载机制统一处理所述在线数据和离线数据。

具体地，在本申请的某些具体实施方式中，所述Hadoop分布式文件系统用于对所述实时数据流进行分类，以得到所述目标数据；

所述Hadoop分布式文件系统还用于根据所述目标数据形成hive表，并将所述hive表存储至所述存储系统。

优选地，在本申请的某些优选实施方式中，所述数据传输系统包括flume；所述存储系统包括Redis或Mysql。

第二方面，本发明实施例提供了一种实时数据流处理方法，包括：

获取实时数据流，并将所述实时数据流推入分布式发布订阅消息系统中；

通过所述分布式发布订阅消息系统接收所述实时数据流，并将所述实时数据流推入文件夹；

通过数据传输系统监听所述文件夹，并在所述文件夹中有实时数据流进入时，将所述实时数据流推送到Hadoop分布式文件系统；

通过所述Hadoop分布式文件系统对所述实时数据流进行清洗，以得到目标数据，并将所述目标数据同步至所述存储系统进行存储以供后端查询。

进一步地，在本申请某些优选实施方式中，所述方法还包括：

通过所述Hadoop分布式文件系统对所述实时数据流进行分类，以得到所述目标数据；