[发明专利]数据处理系统及方法

说明书

本申请提供一种数据处理系统及方法，涉及数据处理技术领域，包括：Beats、Kafka集群、Logstash集群、Elasticsearch集群以及Kibana，其中，Kafka集群，用于接收Beats的采集数据；为采集数据按照所属的Topic确定用于存储采集数据的指定partition；并将采集数据发送给订阅Topic的Logstash集群中的服务器，并通过offset记录服务器在partition的已消费数据的消费进度；且当数据处理系统出现故障需要恢复数据时，根据记录的offset更新Logstash集群中的服务器的数据。通过该方式处理数据，提高了数据的恢复效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理系统及方法。

背景技术

相关技术中，许多企业都会通过部署ELK+Beats(ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称)架构来满足存储和分析数据的需求，如图1所示，Beats(采集代理)分别部署在不同的服务器上收集数据，并发送至Logstash集群(收集和解析服务器)，Logstash集群对数据进行解析后发送到Elasticsearch集群(搜索服务器)，最后通过Kibana(展示平台)展示数据。

然而Logstash集群向Elasticsearch集群发送数据时，一旦发生数据解析时间过长、字段类型冲突、网络连接中断等现象，会导致数据丢失或被遗弃。故而需要技术人员登录每一台与数据相关的服务器，停掉Beats并修改相关配置信息，使其重新采集历史数据，以保证数据的完整性。通过该方式进行数据恢复，费时费力。

发明内容

本申请实施例提供一种数据处理系统及方法，用以解决相关技术中数据恢复效率低的技术问题。

第一方面本申请实施例提供数据处理系统，包括：采集代理Beats、Kafka集群、Logstash集群、Elasticsearch集群以及展示平台Kibana，其中：

所述Kafka集群，用于接收所述Beats的采集数据；为所述采集数据按照所属的主题Topic确定用于存储所述采集数据的指定分区partition；并将所述采集数据发送给订阅所述Topic的所述Logstash集群中的服务器，并通过读取进度offset记录所述服务器在所述partition的已消费数据的消费进度；且当所述数据处理系统出现故障需要恢复数据时，根据记录的所述offset更新所述Logstash集群中的所述服务器的数据；

所述Logstash集群的各服务器，用于从所述Kafka集群获取订阅的采集数据；将所述采集数据及其对应指定参数发送给所述Elasticsearch集群；所述指定参数包括所述采集数据的：主题Topic、指定分区partition以及读取进度offset；

所述Elasticsearch集群，用于接收所述Logstash集群发送的采集数据及其对应指定参数；将所述采集数据及其对应的指定参数发送至所述Kibana；

所述Kibana，用于响应于在展示界面实施的用户操作，展示用户指定数据的分析结果；

所述分析结果中包括所述用户指定数据在各时间段的数据量分布、所述用户指定数据的最新一条采集数据对应的主题Topic、指定分区partition及其读取进度offset。