[发明专利]Logstash的数据处理装置及方法

权利要求书

1.一种Logstash的数据处理装置，其特征在于，包括：

数据获取模块，用于接收数据源的数据；

数据存储模块，用于将接收的数据存储至不同的分区中，每个分区在磁盘上对应一个目录；

数据分发模块，用于确定每个分区对应的Logstash实例；并发地将每个分区的数据发送至该分区对应的Logstash实例。

2.如权利要求1所述的Logstash的数据处理装置，其特征在于，数据获取模块还用于：

以用户自定义数据接收类接收数据源的数据。

3.如权利要求1所述的Logstash的数据处理装置，其特征在于，数据存储模块具体用于：

以随机Hash的方式确定数据待存储的分区；

将接收的数据顺序写入至待存储的分区中。

4.如权利要求3所述的Logstash的数据处理装置，其特征在于，数据存储模块具体用于：

采用内存映射文件的方式将接收的数据顺序写入不同分区对应的PageCache中，所述PageCache中的数据由操作系统刷新至对应的待存储的分区中。

5.如权利要求1所述的Logstash的数据处理装置，其特征在于，数据分发模块具体用于：

并发地将每个分区的数据以SendFile的方式发送至该分区对应的Logstash实例。

6.如权利要求1所述的Logstash的数据处理装置，其特征在于，还包括主管理进程模块，

数据分发模块还用于：在每个分区的数据发送失败时，将每个分区的发送失败的数据保存至异常队列；

主管理进程模块用于：轮询异常队列，在Logstash实例不存在异常时，重新将每个分区的发送失败的数据发送至该分区对应的Logstash实例。

7.如权利要求6所述的Logstash的数据处理装置，其特征在于，主管理进程模块还用于：

轮询Logstash实例，判断Logstash实例是否存在异常；

在Logstash实例存在异常时，从Logstash实例列表中删除异常的Logstash实例；

在Logstash实例恢复正常时，将Logstash实例添加至Logstash实例列表中。

8.如权利要求7所述的Logstash的数据处理装置，其特征在于，主管理进程还用于：

在Logstash实例存在异常时，将该Logstash实例对应的分区的数据发送至其他logstash实例。

9.如权利要求2所述的Logstash的数据处理装置，其特征在于，还包括配置模块，所述配置模块包括数据源配置模块、存储配置模块和实例配置模块，

其中数据源配置模块用于定义用户自定义数据接收类；

存储配置模块用于配置分区对应的目录的路径；

实例配置模块用于配置Logstash实例的属性信息，所述Logstash实例的属性信息包括Logstash实例的地址和端口。

10.一种Logstash的数据处理方法，其特征在于，包括：

接收数据源的数据；

将接收的数据存储至不同的分区中，每个分区在磁盘上对应一个目录；

确定每个分区对应的Logstash实例；

并发地将每个分区的数据发送至该分区对应的Logstash实例。

11.如权利要求10所述的Logstash的数据处理方法，其特征在于，接收数据源的数据，包括：

以用户自定义数据接收类接收数据源的数据。

12.如权利要求10所述的Logstash的数据处理方法，其特征在于，将接收的数据存储至不同的分区中，包括：

以随机Hash的方式确定数据待存储的分区；

将接收的数据顺序写入至待存储的分区中。