[发明专利]一种高吞吐低延时大容量Flume通道及其传输方法

说明书

本发明公开一种高吞吐低延时大容量Flume通道，包括内存，所述内存连接检测模块；所述内存通过数据拉取模块连接集群；所述集群和所述内存通过转接端口连接数据源；所述转接端口配置仲裁模块，所述仲裁模块连接所述检测模块。一种高吞吐低延时大容量Flume通道的传输方法，包括在内存中配置第一存储区间和第二存储区间；配置事件包剩余延迟时间，事件包按剩余延迟时间排序处理；数据源将事件包发给转接端口，所述转接端口将事件包发送给第一存储区间、集群、或第二存储区间；所述集群通过数据拉取模块将事件包发送给第一存储区间或第二存储区间；所述第一存储区间将事件包发送给第二存储区间；所述第一存储区间货所述第二存储区间通过将事件包发给Sink。

技术领域

本发明涉及flume数据传输技术领域，尤其涉及一种高吞吐低延时大容量Flume通道及其传输方法。

背景技术

Flume是一个优秀的数据采集工具。Flume采集数据的架构包括数据源、通道以及Sink，其中，数据源可以从日志文件、网络端口、Kafka集群等多种数据源采集数据，封装成Event，写入通道。数据成功写入到通道中后，Sink会从通道中主动拉去数据写入到HDFS、HBase、Hive、ES等多种大数据组件中。其中，通道为一个被动存储器，负责暂存数据。

Flume中的通道包括File通道、Memory通道与Kafka通道，分别以不同的方式缓存数据。其中Memory通道使用内存缓存数据，吞吐率极高，但内存空间受限于RAM和JVM的约束，无法在短时间缓存大量数据；File通道通过本地磁盘文件缓存数据，为了保证存储过程的可靠性，每一次批量缓存数据时都涉及给文件增加到读锁与写锁的过程，出现锁竞争的现象，并且数据需要存放本地磁盘，导致File通道的整体吞吐量较低，并且本地存储空间有限，扩容存在一定困难；Kafka通道基于Kafka消息队列实现数据缓存，由于Kafka组件具有高吞吐、低延时的特性，以集群的方式存储数据，存储容量可以不断扩充，但因为存储的过程中涉及到集群之间的网络通信，其吞吐量略低于Memory通道，但远远高于File通道。一个通道可以接收多个数据源发送来的数据，在许多场景中将会承担数据量非常大的数据流。如果Flume采集的数据流既需要高吞吐与低延时，同时需要更大的并且可以扩容的缓存空间，现有的Flume通道将无法满足该需求。

发明内容

本发明提供Flume的Memory-Kafka Channel，旨在实现Flume具备高吞吐与低延时，同时具备更大并且可以扩容的缓存空间。

为实现上述目的，参阅图1所示，本发明提供一种高吞吐低延时大容量Flume通道，包括

内存，所述内存连接检测模块；

所述内存通过数据拉取模块连接集群；

所述集群和所述内存通过转接端口连接数据源；

所述转接端口配置仲裁模块，所述仲裁模块连接所述检测模块。

优选地，所述检测模块轮询检测内存状态，所述仲裁模块从所述检测模块获取内存状态，所述仲裁模块根据内存状态控制所述转接端口连通内存和数据源或者控制所述转接端口连通内存和集群。

优选地，所述集群为kafka集群，所述集群部署于存储装置。

本发明提供一种高吞吐低延时大容量Flume通道的传输方法，应用于所述高吞吐低延时大容量Flume通道，包括

S100，在内存中配置第一存储区间和第二存储区间，所述第一存储区间对应配置第一数据接口，所述第二存储区间对应设置第二数据接口；

S200，配置事件包剩余延迟时间，事件包在内存以及集群中按剩余延迟时间排序，第一数据接口、第二数据接口以及数据拉取模块按排序处理事件包；

S300，数据源将事件包发给转接端口，所述转接端口将事件包发送给第一存储区间、集群、或第二存储区间；