[发明专利]一种日志管理系统、方法及装置在审
| 申请号： | 201611200120.1 | 申请日： | 2016-12-22 |
| 公开（公告）号： | CN106850258A | 公开（公告）日： | 2017-06-13 |
| 发明（设计）人： | 肖力文 | 申请（专利权）人： | 北京锐安科技有限公司 |
| 主分类号： | H04L12/24 | 分类号： | H04L12/24;G06F17/30 |
| 代理公司： | 北京品源专利代理有限公司11332 | 代理人： | 胡彬,邓猛烈 |
| 地址： | 100044 北京市海淀区西小口*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例公开了一种日志管理方法、装置及系统。该方法包括Kafka根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；Flume和Jstorm从所述Topic中读取日志数据；所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作。本发明采用了Kafka这一高吞吐量的分布式发布订阅消息系统与Flume海量日志采集、聚合和传输的系统；采用的所有组件都采用了Master/Slave模式保证了当有个别节点宕机的情况下不会影响业务的正常运行，并且Flume与Kafka都有Wal机制，保证日志不会丢失。 | ||
| 搜索关键词： | 一种 日志 管理 系统 方法 装置 | ||
【主权项】：
一种日志管理系统，其特征在于，所述系统包括：Kafka、Flume和Jstorm；所述K afka，用于根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；所述Flume，用于从所述Topic中读取日志数据，读取所述日志数据并进行HDFS的数据持久化操作；所述Jstorm，用于从所述Topic中读取日志数据，读取所述日志数据并进行HDFS的数据持久化操作。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京锐安科技有限公司，未经北京锐安科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611200120.1/，转载请声明来源钻瓜专利网。
