[发明专利]一种可靠的分布式日志收集方法和系统在审
申请号: | 201711162365.4 | 申请日: | 2017-11-21 |
公开(公告)号: | CN107943647A | 公开(公告)日: | 2018-04-20 |
发明(设计)人: | 肖遥 | 申请(专利权)人: | 北京小度互娱科技有限公司 |
主分类号: | G06F11/30 | 分类号: | G06F11/30;G06F17/30 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司11204 | 代理人: | 王达佐,王艳春 |
地址: | 100193 北京市海淀区西北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请提供了一种可靠的分布式日志收集方法和系统,该方法包括将应传输的日志切分为多个日志块;将应传输的日志块与flume监控目录建立软链接;传输与flume监控目录建立了软链接的日志块;将已传输的日志块存入HDFS集群;将应传输的日志块在传输前的行数与从HDFS读取的相应已传输日志块的行数进行比较,以确定相应已传输的日志块是否为正常日志块;以及将所确定出的正常日志块存入数据仓库。本申请提供的日志收集方法能够直接对传输结果进行自动检测,在发现传输结果不合格时,自动执行相关的重传等操作,使得收集的日志更加稳定可靠,并极大地降低了人工运维成本。 | ||
搜索关键词: | 一种 可靠 分布式 日志 收集 方法 系统 | ||
【主权项】:
一种分布式日志收集方法,包括:将应传输的日志切分为多个日志块;将所述应传输的日志块与flume监控目录建立软链接;传输与flume监控目录建立了软链接的日志块;将已传输的日志块存入HDFS集群;将应传输的日志块在传输前的行数与从HDFS读取的相应已传输日志块的行数进行比较,以确定相应已传输的日志块是否为正常日志块;以及将所确定出的正常日志块存入数据仓库。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京小度互娱科技有限公司,未经北京小度互娱科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201711162365.4/,转载请声明来源钻瓜专利网。
- 上一篇:一种程序监控方法及装置
- 下一篇:应用下载数据日志记录装置与方法