[发明专利]一种实时监控分析大量日志的系统及方法在审
申请号: | 201610196661.5 | 申请日: | 2016-03-31 |
公开(公告)号: | CN105868075A | 公开(公告)日: | 2016-08-17 |
发明(设计)人: | 赵宏 | 申请(专利权)人: | 浪潮通信信息系统有限公司 |
主分类号: | G06F11/30 | 分类号: | G06F11/30;G06F17/30 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 罗文曌 |
地址: | 250101 山东*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种实时监控分析大量日志的系统及方法,属于网管监控技术领域。本发明的实时监控分析大量日志的系统包括日志采集模块、日志汇总及分发模块和日志处理模块;日志采集模块采用Flume‑ng技术,分为Agent层、Collector层和Store层;日志汇总及分发模块采用kafka技术,用于接收Flume集群的日志消息,并将接收的日志消息分发到日志处理模块;日志处理模块采用storm技术,由数据源Spout和日志处理者Bolt构成。该发明的实时监控分析大量日志的系统能实时处理网络中的风险和故障,从而保障网络的安全与稳定,减少使用者的损失,具有很好的推广应用价值。 | ||
搜索关键词: | 一种 实时 监控 分析 大量 日志 系统 方法 | ||
【主权项】:
一种实时监控分析大量日志的系统,其特征在于:包括日志采集模块、日志汇总及分发模块和日志处理模块;其中,所述日志采集模块采用Flume‑ng技术,分为Agent层、Collector层和Store层,Agent层用于代理采集日志消息,Collector层部署在中心服务器上,用于接收Agent层发送的日志消息,并将日志消息写到相应的Store层,Store层用于存储日志消息;所述日志汇总及分发模块采用kafka技术,用于接收Flume集群的日志消息,并将接收的日志消息分发到日志处理模块;所述日志处理模块采用storm技术,由数据源Spout和日志处理者Bolt构成,数据源Spout用于从日志汇总及分发模块读取日志消息,日志处理者Bolt用于将所有的日志处理逻辑进行封装,处理输入的数据流,并产生输出新的数据流。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮通信信息系统有限公司,未经浪潮通信信息系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610196661.5/,转载请声明来源钻瓜专利网。