[发明专利]一种基于flume服务器的数据备份容错方法及系统在审
| 申请号： | 201810237131.X | 申请日： | 2018-03-21 |
| 公开（公告）号： | CN108449414A | 公开（公告）日： | 2018-08-24 |
| 发明（设计）人： | 史欣炜 | 申请（专利权）人： | 四川斐讯信息技术有限公司 |
| 主分类号： | H04L29/08 | 分类号： | H04L29/08;H04L12/24;G06F11/14 |
| 代理公司： | 上海硕力知识产权代理事务所(普通合伙) 31251 | 代理人： | 郭桂峰 |
| 地址： | 610100 四川省成*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于flume服务器的数据备份容错方法：设定每台flume服务器的本地存储大小；将存储服务器挂载在所有flume服务器上；通过flume服务器的接收层接收上游服务器分发的日志数据，并通过flume服务器的队列层将日志数据进行缓存；判断挂载在flume服务器上的存储服务器是否异常，若是，通过flume服务器的处理层将缓存数据存储在flume服务器的本地；否则，将缓存数据存储在存储服务器中。本发明可有效防止数据收集或处理过程中，因大数据架构和所挂载存储服务器出现异常造成大量数据丢失的问题，为大数据架构异常检测和处理争取大量缓冲时间。 | ||
| 搜索关键词： | 服务器 存储服务器 挂载 缓存数据 日志数据 数据备份 存储 大数据 架构 有效防止数据 缓存 上游服务器 数据丢失 异常检测 处理层 接收层 缓冲 队列 分发 | ||
【主权项】：
1.一种基于flume服务器的数据备份容错方法，其特征在于，包括：S100设定每台flume服务器的本地存储大小；S200将存储服务器挂载在所有flume服务器上；S300通过flume服务器的接收层接收上游服务器分发的日志数据，并通过所述flume服务器的队列层将所述日志数据进行缓存；S400判断挂载在所述flume服务器上的存储服务器是否异常，若是，进入步骤S500；否则进入步骤S600；S500通过所述flume服务器的处理层将所述队列模块中的缓存数据存储在所述flume服务器的本地；S600通过所述flume服务器的处理层将所述队列层中的缓存数据存储在挂载的所述存储服务器中。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于四川斐讯信息技术有限公司，未经四川斐讯信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810237131.X/，转载请声明来源钻瓜专利网。
