[发明专利]一种基于flume服务器的数据备份容错方法及系统

说明书

本发明公开了一种基于flume服务器的数据备份容错方法：设定每台flume服务器的本地存储大小；将存储服务器挂载在所有flume服务器上；通过flume服务器的接收层接收上游服务器分发的日志数据，并通过flume服务器的队列层将日志数据进行缓存；判断挂载在flume服务器上的存储服务器是否异常，若是，通过flume服务器的处理层将缓存数据存储在flume服务器的本地；否则，将缓存数据存储在存储服务器中。本发明可有效防止数据收集或处理过程中，因大数据架构和所挂载存储服务器出现异常造成大量数据丢失的问题，为大数据架构异常检测和处理争取大量缓冲时间。

技术领域

本发明涉及在大数据架构平台的数据收集处理领域，尤其涉及一种基于flume服务器的数据备份容错方法及系统。

背景技术

在大数据架构平台的数据收集及实时处理过程中，经常会发生某台服务器处理异常或其他原因而停止工作等现象，经常会出现存储服务器故障或者存储服务器在flume服务器下挂载失效等问题，导致备份数据无法存储在存储服务器中，而直接填充在flume服务器本地，而flume服务器本地存储空间往往比较小，很快就会因为数据占满flume本地存储空间，导致flume不能正常工作的现象。如果不实施一定的容错机制或监控机制，很容易造成大量日志数据丢失，造成无法挽回的损失。

发明内容

本发明提供了一种基于flume服务器的数据备份容错方法及系统，用以解决现有技术中大数据收集和处理过程中各种异常造成的大量数据丢失现象发生的技术问题，为异常的检测和处理提供缓冲时间。本发明的技术方案如下：

本发明公开了一种基于flume服务器的数据备份容错方法，包括：

S100设定每台flume服务器的本地存储大小；

S200将存储服务器挂载在所有flume服务器上；

S300通过flume服务器的接收层接收上游服务器分发的日志数据，并通过所述flume服务器的队列层将所述日志数据进行缓存；

S400判断挂载在所述flume服务器上的存储服务器是否异常，若是，进入步骤S500；否则进入步骤S600；

S500通过所述flume服务器的处理层将所述队列模块中的缓存数据存储在所述flume服务器的本地；

S600通过所述flume服务器的处理层将所述队列层中的缓存数据存储在挂载的所述存储服务器中。

优选地，在所述步骤S500之后，还包括步骤：S550当挂载在所述flume服务器上的存储服务器恢复正常时，将所述flume服务器本地存储的数据转移到所述存储服务器上进行存储。

优选地，所述步骤S100包括：

S110获取每天上行日志数据文件的历史数据量的记录；

S120根据每天上行日志数据文件的历史数据量的记录，获取所述历史数据量的最大值；

S130根据预设的计算规则及所述历史数据量的最大值，计算flume服务器的总的存储大小；

S140获取设定的flume服务器的数量；

S150根据所述flume服务器的总的存储大小及所述flume服务器的数量，分配设定每台flume服务器的存储大小。

优选地，所述步骤S130中预设的计算规则为：所述flume服务器的总的存储值＝历史数据量的最大值*预设的修复天数+预设的余量存储值。

优选地，在所述步骤S200之后，所述步骤S300之前还包括：

S250获取所有flume服务器的工作状态及运行参数；