[发明专利]Logstash的数据处理装置及方法

说明书

本发明提供了一种Logstash的数据处理装置及方法，该装置包括：数据获取模块，用于接收数据源的数据；数据存储模块，用于将接收的数据存储至不同的分区中，每个分区在磁盘上对应一个目录；数据分发模块，用于确定每个分区对应的Logstash实例；并发地将每个分区的数据发送至该分区对应的Logstash实例。本发明可以提升Logstash的性能和稳定性。

技术领域

本发明涉及互联网领域，尤其涉及一Logstash的数据处理装置及方法。

背景技术

Logstash提供了强大的filter数据处理插件，可实现各种数据加工、转换等功能。但是存在如下问题：一是，存在Logstash单点风险，现有技术中Logstash一般只在一台服务器上运行，Logstash所在的服务器异常或服务器宕机将导致Logstash不可用，稳定性差；二是现有技术中为了处理大量数据，往往联合使用Logstash中的多个filter插件来实现数据处理(例如加工、转换等)，但是filter插件使用的越多，性能越低。

发明内容

本发明实施例提出一种Logstash的数据处理装置，用以提升Logstash的性能和稳定性，该装置包括：

数据获取模块，用于接收数据源的数据；

数据存储模块，用于将接收的数据存储至不同的分区中，每个分区在磁盘上对应一个目录；

数据分发模块，用于确定每个分区对应的Logstash实例；并发地将每个分区的数据发送至该分区对应的Logstash实例。

本发明实施例提出一种Logstash的数据处理方法，用以提升Logstash的性能，该方法包括：

接收数据源的数据；

将接收的数据存储至不同的分区中，每个分区在磁盘上对应一个目录；

确定每个分区对应的Logstash实例；

并发地将每个分区的数据发送至该分区对应的Logstash实例。

本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述Logstash的数据处理方法。

本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述Logstash的数据处理方法的计算机程序。

在本发明实施例中，数据获取模块，用于接收数据源的数据；数据存储模块，用于将接收的数据存储至不同的分区中，每个分区在磁盘上对应一个目录；数据分发模块，用于确定每个分区对应的Logstash实例；并发地将每个分区的数据发送至该分区对应的Logstash实例。在上述过程中，多个分区对应的Logstash实例可以位于多台服务器中，从而避免了单点风险，提高了Logstash处理数据的稳定性；由于接收的数据存储至不同的分区中，可提高接收的数据存储的效率，在将每个分区的数据发送至该分区对应的Logstash实例时采用并发的方式，可提高数据发送的效率，从而提高Logstash处理数据的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中Logstash的数据处理装置的示意图；

图2为现有的Logstash数据处理架构图；

图3为传统的发送数据流程；